目前最大GPU集群

英偉達(dá)會(huì)每一年更新一代產(chǎn)品，而如果你想等我的下一個(gè)產(chǎn)品，那么你就丟失了訓(xùn)練的時(shí)間和先發(fā)優(yōu)勢(shì)。下一個(gè)達(dá)到里程碑的公司會(huì)宣布一個(gè)突破性的AI，而接下來(lái)的第二名只在它上面提升0.3%。你要選擇做哪一種？這就是為什么一直做技術(shù)領(lǐng)先的公司很重要，你的客戶會(huì)在你上面建設(shè)并且相信你會(huì)一直領(lǐng)先。這里面時(shí)間很重要。這就是為什么我的客戶現(xiàn)在依然瘋狂的在建設(shè)Hopper系統(tǒng)。時(shí)間就是一切。下一個(gè)里程碑馬上就來(lái)。

芯片短缺，電也不夠

馬斯克在談到特斯拉的算力問題時(shí)也補(bǔ)充說(shuō)，雖然迄今為止芯片短缺是AI發(fā)展的一大制約因素，但電力供應(yīng)在未來(lái)一兩年將至關(guān)重要，甚至?xí)〈酒蔀樽畲蟮南拗埔蛩亍?/span>包括新建的這家「超級(jí)計(jì)算工廠」的選址，最需要考慮的因素也是電力供應(yīng)。一個(gè)擁有10萬(wàn)GPU的數(shù)據(jù)中心可能需要100兆瓦的專用電力。要提供這種量級(jí)的電力，xAI總部辦公室所在的舊金山灣區(qū)顯然不是理想的選擇。為了降低成本，數(shù)據(jù)中心往往建在電力更便宜且供應(yīng)更充足的偏遠(yuǎn)地區(qū)。例如，微軟和OpenAI除了計(jì)劃那個(gè)耗資千億美元的超算，也正在威斯康星州建造大型數(shù)據(jù)中心，建設(shè)成本約為100億美元；亞馬遜云服務(wù)的數(shù)據(jù)中心則選址在亞利桑那州。「超級(jí)計(jì)算工廠」一個(gè)非常可能的選址，是特斯拉總部，德克薩斯州奧斯汀市。去年特斯拉宣布建造的Dojo就部署在了這里。這臺(tái)超算基于定制芯片，幫助訓(xùn)練AI自動(dòng)駕駛軟件，也可以用于向外界提供云服務(wù)。第一臺(tái)Dojo運(yùn)行在1萬(wàn)個(gè)GPU上，建造成本約為3億美元。馬斯克4月表示，特斯拉目前共有3.5萬(wàn)個(gè)GPU用于訓(xùn)練自動(dòng)駕駛系統(tǒng)。在數(shù)據(jù)中心進(jìn)行模型訓(xùn)練是一個(gè)極其耗電的過(guò)程。據(jù)估計(jì)，訓(xùn)練GPT-3的耗電量為1287兆瓦時(shí)，大約相當(dāng)于130個(gè)美國(guó)家庭每年消耗的電量。注意到AI電力問題的CEO不止馬斯克一人，Sam Altman本人曾向初創(chuàng)公司Helion Energy投資3.75 億美元，這家公司旨在利用核聚變提供一種更環(huán)保、更低成本的 AI 數(shù)據(jù)中心運(yùn)行方式。馬斯克則沒有押注在核聚變技術(shù)上，他認(rèn)為，AI公司很快將開始爭(zhēng)奪降壓變壓器（step down transformer），可以將高壓電流轉(zhuǎn)換為電網(wǎng)可用的電力，「從公用電網(wǎng)獲得的電力（例如 300 千伏）降至 1 伏以下是一個(gè)巨大的下降」。芯片之后，AI行業(yè)需要「transformers for Transformers」。參考資料：https://www.theinformation.com/articles/musk-plans-xai-supercomputer-dubbed-gigafactory-of-compute?rc=epv9gihttps://www.inc.com/ben-sherry/elon-musk-touts-nvidia-dominance-predicts-a-giant-leap-in-ai-power.htmlhttps://finance.yahoo.com/news/jensen-huang-elon-musk-openai-182851783.html?guccounter=1

*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。