應(yīng)對AI落地狂潮，新一代算力基礎(chǔ)設(shè)施正在蓄勢。作者 | ZeR0
編輯 | 漠影
當(dāng)一群嗜血的互聯(lián)****資客、互聯(lián)網(wǎng)大鱷開始爭搶類ChatGPT應(yīng)用的入場券時，芯片玩家已悄然穩(wěn)坐ChatGPT的牌桌。AI訓(xùn)練芯片“一哥”英偉達(dá)被視作云計算資本支出重心轉(zhuǎn)向人工智能（AI）的最大受益者，韓國政府也在ChatGPT熱潮中加大AI芯片扶持力度。今年1月3日至今，英偉達(dá)股價已上漲49%，市值從3522億美元增至5261億美元（折合增長了約1.19萬億人民幣）；據(jù)彭博億萬富翁指數(shù)，英偉達(dá)CEO黃仁勛的財富同期增長了60億美元。如此“躺賺”，難怪黃仁勛談到ChatGPT時滿面笑容，直夸其意義堪比“iPhone時刻”。據(jù)花旗集團(tuán)預(yù)估，ChatGPT將可能促使英偉達(dá)相關(guān)產(chǎn)品一年內(nèi)銷售額達(dá)到30億~110億美元。韓國政府亦高調(diào)進(jìn)場，計劃拿出約6.4億美元投資研發(fā)先進(jìn)AI芯片的公司，并將在下個月發(fā)布七個采用韓國AI芯片的K-cloud項(xiàng)目通知。據(jù)韓媒報道，當(dāng)前三星和互聯(lián)網(wǎng)巨頭Naver合作開發(fā)AI芯片的進(jìn)展尤其受關(guān)注，Naver計劃在今年上半年推出自己的對話式AI服務(wù)SearchGPT。韓國AI芯片創(chuàng)企FuriosaAI也宣布明年將推出一款“可用于運(yùn)行ChatGPT的最強(qiáng)大芯片”，采用5nm、HBM3技術(shù)，帶寬是前代AI芯片的30倍。隨著生成式AI和大模型興起，飆漲的算力需求成頭號難題，能實(shí)現(xiàn)高算力高能效比的Chiplet、CPO（共封裝光學(xué)）概念也被帶火，漲幅居前。一場圍繞AI算力的爭奪戰(zhàn)，正日益硝煙彌漫。本文福利：ChatGPT背后的支撐為人工智能大模型，在大模型的框架下，每一代GPT模型的參數(shù)量均高速擴(kuò)張，ChatGPT的快速滲透、落地應(yīng)用，也將大幅提振算力需求。推薦精品報告《ChatGPT對GPU算力的需求測算與相關(guān)分析》，可在公眾號聊天欄回復(fù)關(guān)鍵詞【芯東西295】獲取。
01.訓(xùn)練ChatGPT聊聊天算力需求有多大？
ChatGPT爆火后，不僅多家國內(nèi)外科技大廠加大對生成式AI的投資，原美團(tuán)“二號人物”王慧文、出門問問創(chuàng)始人李志飛等科技大佬也滿腔熱血躬身入局，要做中國的OpenAI（研發(fā)出ChatGPT和GPT-3的AI公司）。另據(jù)36氪向前搜狗CEO王小川本人求證是否回歸創(chuàng)業(yè)做AI大模型的消息，王小川承認(rèn)自己在“快速籌備中”。戰(zhàn)場正變得越來越熱鬧，但回歸理性，研發(fā)AI大模型可不是誰都能做的。此前海通證券分析師鄭宏達(dá)曾隔空吐槽，說5000萬美元夠干什么？大模型訓(xùn)練一次就花500萬美元，訓(xùn)練10次？比照OpenAI這個模板，GPT-3大模型的單次訓(xùn)練成本上百萬美元、總訓(xùn)練成本上千萬美元。2022年，OpenAI總共花掉超過5.44億美元，但收入只有3600萬美元，年虧損超過5億美元。沒錢，沒人才，沒數(shù)據(jù)和算力，就根本拿不到參賽的入場券。人才是OpenAI能夠睥睨一眾競爭對手的本錢。OpenAI現(xiàn)有375名正式員工，其中大部分都是頂級AI研發(fā)大牛，需用高額薪酬來留住這些人才。除此之外，其最燒錢的當(dāng)屬計算和數(shù)據(jù)。據(jù)美國《財富》雜志披露，OpenAI一年的計算和數(shù)據(jù)支出高達(dá)4.1645億美元，員工支出8931萬美元，其他非特定營業(yè)費(fèi)用為3875萬美元。ChatGPT類產(chǎn)品的開發(fā)成本有多高呢？據(jù)外媒報道，分析師稱ChatGPT Beta版本使用了10000個英偉達(dá)GPU訓(xùn)練模型，新一代GPT-5大模型正在25000個英偉達(dá)GPU上訓(xùn)練。ChatGPT是基于大模型GPT-3.5訓(xùn)練出的對話式AI模型。GPT-3.5跟前代GPT-3一樣有1750億個參數(shù)。GPT-3訓(xùn)練所需算力達(dá)3650PFLOPS-days，訓(xùn)練成本約140萬美元。參數(shù)更多的大模型訓(xùn)練成本則介于200萬~1200萬美元之間。
▲GPT-3、Gopher、MT-NLG、PaLM等大型語言模型的預(yù)估訓(xùn)練成本（來源：國盛證券）
據(jù)大算力AI芯片-存算一體專家陳巍測算，標(biāo)準(zhǔn)大小的ChatGPT-175B大概需要625臺8卡DGX A100服務(wù)器進(jìn)行訓(xùn)練，如果愿意等它跑1個月，200臺8卡也夠用。針對ChatGPT-175B的服務(wù)器成本（主要考慮GPU和CPU）約為3~5億元。相對來說模型迭代成本沒那么高。越往后迭代，大模型的訓(xùn)練成本可能會顯著下降。自2020年5月GPT-3發(fā)布以來，與GPT-3性能相當(dāng)?shù)哪Ｐ?，?xùn)練和推理成本已經(jīng)降低了超過80%。 
▲2020年對于具有對等性能的模型，與GPT-3相比，推理和訓(xùn)練成本降低的概覽（圖源：Sunyan）
而ChatGPT上線后的日常運(yùn)營，又是一筆昂貴的算力開銷。OpenAI CEO阿爾特曼曾在推特上回復(fù)馬斯克的留言，說ChatGPT平均一次聊天成本是幾美分。
摩根士丹利分析稱ChatGPT的一次回復(fù)可能會花掉OpenAI 2美分，大約是谷歌搜索查詢平均成本的7倍。尤其考慮到ChatGPT面向全球大眾用戶，用的人越多，帶寬消耗越大，服務(wù)器成本會更高。每天至少要燒掉10萬美元。今年1月，ChatGPT累計用戶數(shù)沖破1億大關(guān)，訪問量達(dá)6.72億次。根據(jù)Similarweb數(shù)據(jù)，1月27日到2月3日，ChatGPT每日訪客數(shù)達(dá)2500萬。國盛證券估算，假設(shè)以這樣的穩(wěn)定狀態(tài)，且忽略集群配置的請求量冗余和服務(wù)質(zhì)量冗余，那么，ChatGPT需要至少30382片英偉達(dá)A100 GPU芯片同時計算，才能支撐當(dāng)前ChatGPT的訪問量；對應(yīng)初始投入成本約為7.59億美元（折合約52億人民幣）；每日電費(fèi)約為4.7萬美元。另據(jù)招商通信測算，ChatGPT在模型上線運(yùn)營階段，每億活躍用戶將帶來13.5EFLOPS的算力需求，需要6.9萬臺DGX A100 80G服務(wù)器支撐。按每個用戶每天收到1500字回答計算，以2021年全球超算算力的總規(guī)模14EFLOPS，僅能支撐ChatGPT最多擁有1億日均上線人數(shù)。微軟、谷歌、百度等搜索巨頭都計劃將ChatGPT同類技術(shù)整合到它們的搜索引擎中。據(jù)SemiAnalysis估算，將這類技術(shù)集成到谷歌的每個搜索查詢中，需要超過51萬臺A100 HGX服務(wù)器和總共超過410萬個A100 GPU，服務(wù)器和網(wǎng)絡(luò)總成本的資本支出將達(dá)到1000億美元。這些支出的相當(dāng)一部分，將流入英偉達(dá)的口袋。
▲中信證券認(rèn)為短期內(nèi)單個大模型可帶來超過2萬個A100的銷售增量，對應(yīng)市場規(guī)模超過2.13億美元（圖源：中信證券）
02.英偉達(dá)****不賠大算力AI芯片被帶飛
那么，ChatGPT究竟要用到哪些計算基礎(chǔ)設(shè)施？我們先來看看ChatGPT自己的回答：
可以明確的是，ChatGPT這股颶風(fēng)刮得越猛，英偉達(dá)等大算力供應(yīng)商就越吃香。過去五年，大模型發(fā)展直沖萬億參數(shù)，算力需求隨之陡增。而ChatGPT幕后的算力功臣英偉達(dá)GPU，長期獨(dú)占大多數(shù)AI訓(xùn)練芯片市場。摩爾線程摩爾學(xué)院院長李豐談道，當(dāng)前幾乎所有的生成式AI算力都依賴GPU，尤其是在訓(xùn)練方面。
▲近年大模型的參數(shù)規(guī)模增長趨勢（圖源：Xavier Amatriain）
提高峰值吞吐量方面，英偉達(dá)一馬當(dāng)先。2018年，英偉達(dá)CEO黃仁勛曾提出“黃氏定律”，稱GPU的增速是五年前的25倍。自2016年首次在V100 GPU中用上張量核心至今，英偉達(dá)通過各種創(chuàng)新設(shè)計不斷抬高單芯片算力的天花板。作為全球AI計算頭部企業(yè)，英偉達(dá)坐擁高度粘性的開發(fā)者生態(tài)，同時始終保持著敏銳的前瞻性布局，例如在H100 GPU使用Transformer引擎來顯著提升大模型訓(xùn)練的速度，通過在GPU、CPU、DPU、AI、互連、網(wǎng)絡(luò)等多方面的投資布局持續(xù)拉大在數(shù)據(jù)中心的競爭優(yōu)勢。據(jù)浙商證券分析，采購一片英偉達(dá)頂級GPU成本為8萬元，支撐ChatGPT的算力基礎(chǔ)設(shè)施至少需上萬顆英偉達(dá)A100，高端芯片需求的快速增加會進(jìn)一步拉高芯片均價。 同時，數(shù)據(jù)中心日益需要更加高性價比、高能效的AI芯片。據(jù)Sunyan估算，今天，用于訓(xùn)練大模型的數(shù)據(jù)中心GPU，代際每美元吞吐量提高了50%，代際每瓦特吞吐量提高了80%。
▲英偉達(dá)數(shù)據(jù)中心GPU FP16/FP32吞吐量/美元（圖源：Sunyan）
▲英偉達(dá)數(shù)據(jù)中心GPU FP16/FP32吞吐量/瓦特（圖源：Sunyan）
持續(xù)的芯片設(shè)計創(chuàng)新正推動了硬件成本和能效進(jìn)一步優(yōu)化。從基于訓(xùn)練GPT-3的V100到即將上市的H100的改進(jìn)，預(yù)計可將內(nèi)部訓(xùn)練成本從74.4萬美元降至31.2萬美元，降幅達(dá)到58%。
▲今天使用英偉達(dá)H100 GPU訓(xùn)練GPT-3的成本（圖源：Sunyan）
再來看看ChatGPT對于是否會使用來自英偉達(dá)以外供應(yīng)商的AI芯片的回復(fù)：
我們也問了ChatGPT關(guān)于其推理用到了哪些計算基礎(chǔ)設(shè)施，這是ChatGPT給出的回答：
到目前為止，AI推理市場還是以CPU為主。但生成式AI模型的計算量對于CPU來說可能太大，需要GPU等加速計算芯片加以分擔(dān)。總體來看，模型訓(xùn)練和終端用戶流量飆增正拉動大算力需求，GPU、ASIC、DSA、FPGA、光子計算芯片、神經(jīng)擬態(tài)芯片等各類加速計算芯片與通用芯片CPU的組合迎來更大的市場。不止是海外芯片巨頭，國內(nèi)AI芯片企業(yè)也感受到了ChatGPT帶來的春意。燧原科技創(chuàng)始人兼COO張亞林認(rèn)為，生成式AI大模型的出現(xiàn)，讓國內(nèi)的算力基礎(chǔ)設(shè)施提供商能夠更有針對性地提供與AI大模型強(qiáng)關(guān)聯(lián)的基礎(chǔ)設(shè)施，這對于國內(nèi)創(chuàng)業(yè)公司在有限資源下聚焦、持續(xù)產(chǎn)品優(yōu)化迭代提供了幫助。他告訴芯東西，燧原科技最近接到了很多客戶和投資人的垂詢，正全力推動產(chǎn)品的加速落地，去年其千卡規(guī)模液冷集群已經(jīng)落地并服務(wù)戰(zhàn)略客戶群，能夠全面支撐國內(nèi)外生成式AI大模型。在他看來，相較于英偉達(dá)等國際大廠，國內(nèi)AI芯片企業(yè)的優(yōu)勢可能體現(xiàn)在成本、特定市場及場景深度優(yōu)化、本土化服務(wù)和支持等方面。通過與全棧大模型團(tuán)隊緊密合作，國內(nèi)AI芯片團(tuán)隊能讓客戶問題的解決和產(chǎn)品迭代的飛輪更加快速。考慮到全功能GPU能更好地兼顧靈活度和應(yīng)用開發(fā)，李豐認(rèn)為將來的生態(tài)，會很長一段時間以GPU為主，輔以其他類型芯片的生態(tài)。
03.ChatGPT爆火后這些芯片技術(shù)迎來大風(fēng)口
除了AI芯片外，高性能存儲、Chiplet、互連技術(shù)、共封裝光學(xué)（CPO）等概念近期均乘上了ChatGPT的高速列車。1、高性能存儲芯片隨著參數(shù)規(guī)?？焖僭鲩L，大模型將增加擴(kuò)展數(shù)據(jù)中心以穩(wěn)定處理大量數(shù)據(jù)的需求。這將催化高性能存儲芯片發(fā)展，例如高帶寬內(nèi)存（HBM）或內(nèi)存內(nèi)處理（PIM）的需求將因此增加。2018年推出的大模型BERT-Large擁有340M參數(shù)，僅需6.8GB內(nèi)存，能輕松塞進(jìn)單個桌面級GPU。而對于像GPT-3這樣擁有1750億個參數(shù)的模型，需要高達(dá)3.5TB的內(nèi)存。英偉達(dá)H100的最大高帶寬內(nèi)存（HBM）容量也僅80GB，至少需要44個H100才能滿足GPT-3的內(nèi)存要求。 據(jù)韓國《經(jīng)濟(jì)日報》報道，受ChatGPT熱潮驅(qū)動，三星電子、SK海力士兩大存儲芯片巨頭的HBM接單量大增。三星還在去年10月與AMD合作開發(fā)了HBM-PIM技術(shù)，將存儲芯片和AI芯片結(jié)合在一起，相比傳統(tǒng)GPU能耗減半。2、Chiplet隨著系統(tǒng)級芯片集成進(jìn)入后摩爾時代，晶圓級芯片和基于Chiplet、存算一體等創(chuàng)新思路成為持續(xù)提高算力利用率的重要途徑。其中，Chiplet作為“換道超車”的熱門技術(shù)方案備受業(yè)界關(guān)注。不同于傳統(tǒng)SoC設(shè)計方法，Chiplet將復(fù)雜芯片拆解成一組具有單獨(dú)功能的Chiplet單元die，通過die-to-die的方式將模塊芯片和底層基礎(chǔ)芯片封裝組合形成一個系統(tǒng)芯片，能夠?qū)崿F(xiàn)不同工藝節(jié)點(diǎn)的芯片產(chǎn)品搭配，降低芯片設(shè)計復(fù)雜度和設(shè)計成本，實(shí)現(xiàn)更高性能或具備更多功能的芯片。今年2月13日，首個由中國企業(yè)和專家主導(dǎo)制訂的Chiplet技術(shù)標(biāo)準(zhǔn)《小芯片接口總線技術(shù)要求》正式發(fā)布實(shí)施。這是中國首個原生Chiplet技術(shù)標(biāo)準(zhǔn)，描述了小芯片接口總線技術(shù)的應(yīng)用場景、體系結(jié)構(gòu)、互連特性、信號管理等內(nèi)容，適用于CPU、GPU、AI芯片、網(wǎng)絡(luò)處理器和網(wǎng)絡(luò)交換芯片等，對國內(nèi)芯片產(chǎn)業(yè)突破先進(jìn)制程工藝限制、繞過芯片制造良率瓶頸具有積極意義。標(biāo)準(zhǔn)文件鏈接：
https://www.ccita.net/wp-content/uploads/2023/02/TCESA-1248-2023-小芯片接口總線技術(shù)要求.pdf3、片上互連與片間互連單芯片撐不動后，大模型需要借助大規(guī)模分布式計算，將計算和存儲任務(wù)拆分到更多的芯片中，因此芯片與芯片之間、系統(tǒng)與系統(tǒng)之間的數(shù)據(jù)傳輸效率愈發(fā)成為掣肘硬件利用率的瓶頸。無論是英偉達(dá)、英特爾、AMD等芯片大廠，還是Cerebras、Graphcore、SambaNova等海外AI芯片獨(dú)角獸，都采用并支持分布式計算模型，并借助更快的內(nèi)部互連技術(shù)將算力擴(kuò)大。當(dāng)傳統(tǒng)基于銅互連的數(shù)據(jù)傳輸顯得捉襟見肘，引入光網(wǎng)絡(luò)的思路，可能有助于大幅提升芯片內(nèi)、芯片間的數(shù)據(jù)傳輸效率。國內(nèi)曦智科技正在做相關(guān)探索工作。（具體可參見《掀起數(shù)據(jù)中心算力新風(fēng)口！大規(guī)模光電集成有多硬核？》）曦智科技創(chuàng)始人兼CEO沈亦晨告訴芯東西，高能效、低延遲的互連技術(shù)已經(jīng)是潛在的技術(shù)壁壘。對此曦智科技提出使用片上光網(wǎng)絡(luò)（oNOC）代替模塊或板卡間的電互連，提高實(shí)現(xiàn)更高帶寬、更低延遲，從而輔助Chiplet系統(tǒng)提高單芯片的算力和算效，為面向未來AI加速器的多形態(tài)計算架構(gòu)提供關(guān)鍵的片上互連基礎(chǔ)設(shè)施。4、共封裝光學(xué)（CPO）由于ChatGPT需要大流量的云服務(wù)器支持，能顯著提高通信效率、降低功耗成本的CPO（共封裝光學(xué)）概念走紅，相關(guān)概念股近期震蕩走高。
▲同花順CPO概念股2月15日漲跌幅情況
CPO通過將硅光模塊和CMOS芯片用高級封裝的形式耦合在背板PCB上，縮短了交換芯片和光引擎間的距離，為暴漲的算力需求提供了一種小尺寸、高能效、低成本的高速互連解決方案。芯東西曾在《光互連最火概念！中國原生CPO標(biāo)準(zhǔn)草案來了，決勝數(shù)據(jù)中心未來》一文中梳理CPO技術(shù)發(fā)展的關(guān)鍵階段和國內(nèi)進(jìn)展。中國計算機(jī)互連技術(shù)聯(lián)盟（CCITA）秘書長郝沁汾告訴芯東西，CPO本質(zhì)上是光模塊結(jié)構(gòu)發(fā)生了變化，給國內(nèi)企業(yè)帶來了重構(gòu)光模塊生態(tài)鏈和供應(yīng)鏈的一個機(jī)會。當(dāng)前《微電子芯片光互連接口技術(shù)》標(biāo)準(zhǔn)正在過工信部的技術(shù)審定會，這是國內(nèi)唯一原生的CPO標(biāo)準(zhǔn)，也是世界三大CPO之一，后續(xù)中國計算機(jī)互連技術(shù)聯(lián)盟將聯(lián)合相關(guān)企業(yè)圍繞該標(biāo)準(zhǔn)推進(jìn)聯(lián)合開發(fā)及技術(shù)驗(yàn)證。
04.結(jié)語
在即將到來的生成式AI驅(qū)動搜索時代，為AI構(gòu)建下一代算力基礎(chǔ)設(shè)施的競爭日趨激烈。從模型訓(xùn)練到日常運(yùn)營，ChatGPT出生至今的每個環(huán)節(jié)都離不開幾萬片英偉達(dá)高端GPU的支撐。但英偉達(dá)GPU并非不可替代，此前一直有傳聞，微軟正在研發(fā)自己的AI芯片。如果生成式AI走向大規(guī)模商用，為了追求更極致的算力性價比，科技巨頭將有足夠的動力來設(shè)計專用芯片。除此之外，ChatGPT背后的AI公司OpenAI正在研發(fā)開源GPU編程語言Triton，希望打造一種比英偉達(dá)CUDA等特定供應(yīng)商庫更好用的軟件，這可能會影響英偉達(dá)CUDA在開發(fā)者圈的需求。前路尚且充滿未知，但許多計算芯片、存儲芯片、網(wǎng)絡(luò)基礎(chǔ)設(shè)施供應(yīng)商們已經(jīng)嚴(yán)陣以待，準(zhǔn)備好為新一輪AI狂潮蓄勢。本文福利：ChatGPT背后的支撐為人工智能大模型，在大模型的框架下，每一代GPT模型的參數(shù)量均高速擴(kuò)張，ChatGPT的快速滲透、落地應(yīng)用，也將大幅提振算力需求。推薦精品報告《ChatGPT對GPU算力的需求測算與相關(guān)分析》，可在公眾號聊天欄回復(fù)關(guān)鍵詞【芯東西295】獲取。
加入技術(shù)交流群
