技術(shù)路線四：****

在Transformer打開(kāi)了大語(yǔ)言模型的理論窗口之后，大語(yǔ)言模型發(fā)展出了三種路線。第一種，以Google BERT、ELECTRA為代表的Encoder-Only（編碼器）路線；第二種，以Google T5、BART為代表的Encoder- Decoder（編****）路線；第三種，以O(shè)penAI GPT為代表的Decoder-Only（****）路線。

這三種路線，Encoder-Only路線適合理解類任務(wù)，很難應(yīng)對(duì)生成式任務(wù)，也不具有好的擴(kuò)展性和適應(yīng)性，雖然被Google BERT在個(gè)別子領(lǐng)域一度帶火，但現(xiàn)在幾乎處于被主流拋棄的地步。Encoder- Decoder路線適合特定場(chǎng)景任務(wù)，但通用性和擴(kuò)展性也比較差。Decoder-Only路線首先非常適合生成類任務(wù)，同時(shí)對(duì)各類任務(wù)都具有很好的通用性，在工程上也具有很高的可擴(kuò)展性（scale），非常適合將模型規(guī)模做大。

基于這些特點(diǎn)來(lái)看，要以AGI通用人工智能為目的地的話，那么Decoder-Only路線顯然是不二選擇。從上面的大語(yǔ)言模型進(jìn)化樹來(lái)看，可以看出GPT選擇的Decoder-Only路線顯然引領(lǐng)了大語(yǔ)言模型的發(fā)展和繁榮。

技術(shù)路線五：從強(qiáng)化學(xué)習(xí)到對(duì)齊

通過(guò)以上的無(wú)監(jiān)督學(xué)習(xí)、生成式模型、自然語(yǔ)言、****這幾個(gè)關(guān)鍵的技術(shù)岔路口選擇之后，GPT模型顯然已經(jīng)奔赴在通往AGI的康莊大道上了。但是GPT的強(qiáng)大也引入一些新的隱憂，它的強(qiáng)大會(huì)不會(huì)為人類帶來(lái)危險(xiǎn)、破壞人類價(jià)值觀、幫助作惡、擾亂社會(huì)秩序、甚至威脅人類的生存？

這是嚴(yán)重違背OpenAI的愿景和使命的。如何將強(qiáng)大的GPT模型與人類價(jià)值觀和社會(huì)規(guī)范對(duì)齊？強(qiáng)大之后如何變得“對(duì)人類有用”？技術(shù)的問(wèn)題要靠技術(shù)來(lái)解決。這時(shí)候OpenAI在早期訓(xùn)練Dota游戲智能代理時(shí)積累已久的強(qiáng)化學(xué)習(xí)功底就派上用場(chǎng)了。通過(guò)在預(yù)訓(xùn)練之后加入基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF，Reinforcement Learning from Human Feedback）來(lái)教導(dǎo)AI做一個(gè)對(duì)人類有益的“好的AI”，設(shè)立護(hù)欄，防止被用來(lái)做惡。這方面，OpenAI想得很遠(yuǎn)，投入的也很大，配得上它的“愿景和使命”。

工程智慧：Scale Law

如果回顧OpenAI在歷史上做的一系列技術(shù)選擇，我們會(huì)發(fā)現(xiàn)幾乎所有的選擇都是圍繞“是否有利于通用人工智能Scale”的原則進(jìn)行的，而與該技術(shù)在當(dāng)時(shí)“是否能快速變現(xiàn)”、“是否主流”、“是否容易上手”、“是否效果立竿見(jiàn)影”完全無(wú)關(guān)。

做過(guò)技術(shù)架構(gòu)，或者商業(yè)戰(zhàn)略的人也都知道，“快速易擴(kuò)展”是好的技術(shù)架構(gòu)或者商業(yè)模式的“鐵律”。這一鐵律同樣適用于通用人工智能的發(fā)展。OpenAI的團(tuán)隊(duì)顯然是洞悉這一點(diǎn)的。他們甚至在2020年發(fā)表了一篇著名的論文《Scaling Laws for Neural Language Models》來(lái)總結(jié)模型參數(shù)、訓(xùn)練數(shù)據(jù)集大小、算力投入（FLOPs 每秒浮點(diǎn)操作）、網(wǎng)絡(luò)架構(gòu)之間的擴(kuò)展法則。

其實(shí)除了模型的Scale Law，OpenAI對(duì)于邁向AGI道路上的各種Scale力量都有非常深刻的洞見(jiàn)和睿智的選擇。

產(chǎn)品智慧：從超級(jí)應(yīng)用到生態(tài)平臺(tái)

從2018年OpenAI推出GPT 1.0到2020年GPT發(fā)展到3.0，OpenAI這時(shí)已經(jīng)拿到大語(yǔ)言模型這樣一張王牌，但怎么出牌也很重要。歷史上握著一手技術(shù)好牌，但是打得稀爛的也比比皆是。以O(shè)penAI強(qiáng)大的“通用人工智能”愿景來(lái)說(shuō)，不做平臺(tái)型公司是很難的。但是科技史上一上來(lái)就做平臺(tái)的公司，大部分都折戟沙場(chǎng)。反觀那些成功的平臺(tái)型技術(shù)公司，絕大多數(shù)都是先從建立“超級(jí)應(yīng)用”開(kāi)始的。

歷經(jīng)硅谷頂級(jí)孵化器YC總裁的鍛煉，OpenAI的另一位靈魂人物CEO Sam Altman，當(dāng)然是產(chǎn)品戰(zhàn)略高手中的高手。OpenAI選擇先從ChatGPT這一“超級(jí)應(yīng)用”入手，通過(guò)短短幾個(gè)月的時(shí)間，積累了上億的用戶、海量的交互數(shù)據(jù)、和極強(qiáng)的品牌號(hào)召力，才有后面的ChatGPT API, Plugins等一系列大手筆的平臺(tái)布局。以目前各種渠道的消息來(lái)看，OpenAI在產(chǎn)品上還有很多大招，讓我們拭目以待。

順便提一下，我在前面《AGI時(shí)代的產(chǎn)品版圖和范式》文章中，也更深入地談了很多我對(duì)AGI時(shí)代產(chǎn)品創(chuàng)新的思考。

股權(quán)設(shè)計(jì)：限制盈利公司

OpenAI最早是以非盈利組織的方式成立，初期資金以捐贈(zèng)的方式募集。但顯然創(chuàng)始團(tuán)隊(duì)低估了發(fā)展AGI需要的硬件和人才投入，也高估了捐贈(zèng)的兌現(xiàn)（早期承諾的捐贈(zèng)后來(lái)其實(shí)很多沒(méi)到位）。因此到2019年3月，OpenAI重新設(shè)計(jì)公司治理架構(gòu)，改為“限制盈利”的公司，接受微軟10億美金投資。

“限制盈利”規(guī)定向OpenAI投資的股東，未來(lái)從OpenAI能夠獲取的利潤(rùn)分配最多到投資額X100倍的上限。超出部分將由非盈利組織OpenAI Nonprofit控制。

這一精妙的股權(quán)設(shè)計(jì)既能吸引OpenAI所需要的投資，又防止了AGI過(guò)于強(qiáng)大而攫取巨額利潤(rùn)。平衡了發(fā)展AGI需要的商業(yè)支持和AGI造福全人類這一宏大愿景之間的矛盾。我覺(jué)得若干年后回看歷史，這一股權(quán)設(shè)計(jì)也是商業(yè)史上一個(gè)偉大的發(fā)明。創(chuàng)始人兼CEO Sam Altman不拿股權(quán)，不求商業(yè)回報(bào)，一心追求AGI改變世界的胸懷也讓人心生敬意。

戰(zhàn)略設(shè)計(jì)：合縱連橫

如果將OpenAI比作AI時(shí)代的一只小恐龍，那么在AI領(lǐng)域長(zhǎng)期重兵投入、市值萬(wàn)億的Google和微軟顯然是AI時(shí)代的兩只大恐龍。OpenAI這樣的“攪局者”如果被兩只大恐龍中的任何一只盯上，都會(huì)惹火燒身。而OpenAI對(duì)于ChatGPT這樣的“爆款應(yīng)用”推出所引起的AI戰(zhàn)國(guó)紛爭(zhēng)顯然有充分的預(yù)判和精妙的戰(zhàn)略設(shè)計(jì)。

OpenAI首先通過(guò)和微軟這只大恐龍的戰(zhàn)略合作，既拿到百億美金量級(jí)的寶貴發(fā)展資金，同時(shí)又通過(guò)GPT賦能微軟Bing搜索、半路****Google這只大恐龍，還順帶將GPT賦能到自己一時(shí)半會(huì)照顧不到的B端市場(chǎng)（Azure云服務(wù)、Office 365等）以獲取適當(dāng)利潤(rùn)，而自己卻可以集中精力、以C端市場(chǎng)為切入點(diǎn)、在構(gòu)建AGI時(shí)代的生態(tài)平臺(tái)上蒙眼狂奔。

這一巧妙利用巨頭“創(chuàng)新者窘境”的合縱連橫，讓一家人數(shù)僅有300多估值不過(guò)300億美金的創(chuàng)業(yè)公司，同時(shí)撬動(dòng)兩家市值萬(wàn)億美金、員工近二十萬(wàn)的科技巨鱷的戰(zhàn)略布局，放眼整個(gè)商業(yè)史，空前絕后，蔚為大觀。

團(tuán)隊(duì)架構(gòu)：學(xué)術(shù)+工程+產(chǎn)品+商業(yè)

讀到這里很多朋友可能會(huì)問(wèn)，OpenAI到底什么來(lái)頭、何德何能如此彪悍？秘密無(wú)他，科技公司最貴的就是人才。OpenAI有著足以笑傲AI江湖的聯(lián)合創(chuàng)始團(tuán)隊(duì)組合。

一號(hào)位CEO Sam Altman 20歲從斯坦福輟學(xué)創(chuàng)辦Loopt，于2012年將公司以4300萬(wàn)美金出售。于2014被大自己二十歲的YC創(chuàng)始人、硅谷創(chuàng)業(yè)教父格雷厄姆說(shuō)服接替他擔(dān)任YC總裁。格雷厄姆很早就看到Sam Altman的卓越才華，在他眼里，Sam Altman就是硅谷未來(lái)的喬布斯。Sam Altman在硅谷的創(chuàng)業(yè)和YC的經(jīng)歷鍛造了他在產(chǎn)品模式、商業(yè)戰(zhàn)略、投融資方面的頂級(jí)才能。

二號(hào)位首席科學(xué)家Ilya Sutskever是深度學(xué)習(xí)之父Geoffrey Hinton的關(guān)門弟子，從ImageNet大賽一戰(zhàn)成名，后來(lái)加入Google大腦，發(fā)明Seq2Seq大幅改善機(jī)器翻譯，參與TensorFlow和AlphaGo的研發(fā)。是深度學(xué)習(xí)學(xué)術(shù)領(lǐng)域當(dāng)仁不讓的“開(kāi)山功臣”。

總裁Greg Brockman之前創(chuàng)立著名支付公司Stripe并擔(dān)任CTO，具有極強(qiáng)的工程技術(shù)能力和從零到一搭建技術(shù)團(tuán)隊(duì)的經(jīng)驗(yàn)。是OpenAI長(zhǎng)期的工程技術(shù)支柱。除此之外，像Andrej Karpathy 、John Schulman、Lukasz Kaiser等燦若群星的匯聚，使得OpenAI在AI人才密度上放眼全球，都屬頂流之列。OpenAI的團(tuán)隊(duì)結(jié)構(gòu)也反應(yīng)OpenAI的AGI創(chuàng)業(yè)觀：學(xué)術(shù)、工程、產(chǎn)品、商業(yè)，四大支柱缺一不可，而且各個(gè)都很強(qiáng)。

除了自己聚焦AGI還不夠，OpenAI和Sam Altman還投資了眾多核聚變、量子計(jì)算、加密貨幣等公司，圍繞能源、算力、財(cái)富分配等未來(lái)變革進(jìn)行大手筆布局。這些每一個(gè)都劍指AGI的未來(lái)。

綜上所述，OpenAI無(wú)論是在技術(shù)的多個(gè)岔路口上的關(guān)鍵選擇，還是在產(chǎn)品、工程、股權(quán)、戰(zhàn)略、團(tuán)隊(duì)上，都打得一手好牌，是一家非常值得研究和重視的公司，也是我們窺視AGI時(shí)代的一扇窗戶。