早在今年5月29日，AI芯片大廠(chǎng)英偉達(dá)（NVIDIA） CEO黃仁勛就在COMPUTEX 2023展前發(fā)布會(huì)上，正式發(fā)布了升級(jí)版的GH200 Grace Hopper超級(jí)芯片，旨在助力開(kāi)發(fā)面向生成式AI語(yǔ)言應(yīng)用、推薦系統(tǒng)和數(shù)據(jù)分析工作負(fù)載的巨型、下一代模型。

GH200超級(jí)芯片，是將 72 核的Grace CPU、H100 GPU、96GB 的 HBM3 和 512 GB 的 LPDDR5X 集成在同一個(gè)封裝中，擁有高達(dá) 2000 億個(gè)晶體管。這種組合提供了 CPU 和 GPU 之間驚人的數(shù)據(jù)帶寬，高達(dá) 900 GB / s，為某些內(nèi)存受限的工作負(fù)載提供了巨大的優(yōu)勢(shì)。

相關(guān)文章：《AI性能突破1Eflop！英偉達(dá)DGX GH200發(fā)布：256個(gè)GH200芯片，144TB共享內(nèi)存！》

美國(guó)當(dāng)?shù)貢r(shí)間8月8日，英偉達(dá)又發(fā)布了新一代GH200 Grace Hopper（簡(jiǎn)稱(chēng)“新版GH200”）平臺(tái)。但與今年5月發(fā)布的GH200不同的是，新一代GH200搭載了全球首款HBM3e內(nèi)存，內(nèi)存容量和帶寬都有顯著提高，專(zhuān)為加速計(jì)算和生成式AI時(shí)代而打造。

英偉達(dá)稱(chēng)，新版GH200旨在處理世界上最復(fù)雜的生成式AI工作負(fù)載，涵蓋大型語(yǔ)言模型、推薦系統(tǒng)和矢量數(shù)據(jù)庫(kù)，將提供多種配置。新版GH200將于2024年第二季度投產(chǎn)。

具體來(lái)說(shuō)，新版GH200芯片平臺(tái)基于 72 核 Grace CPU，配備 480 GB ECC LPDDR5X 內(nèi)存以及 GH100 計(jì)算 GPU，搭配 141 GB 的 HBM3e 內(nèi)存，分為六個(gè) 24 GB 的堆棧，并使用了 6,144 位的內(nèi)存接口。雖然英偉達(dá)實(shí)際安裝了 144 GB 的內(nèi)存，但只有 141 GB 是可用的。

相比原版GH200平臺(tái)，新版GH200平臺(tái)的雙芯片配置將內(nèi)存容量提高3.5倍，帶寬增加三倍，一個(gè)服務(wù)器就有144個(gè)Arm Neoverse高性能內(nèi)核、8 petaflops 的 AI 性能和282GB的最新HBM3e內(nèi)存技術(shù)。

HBM3e是全新一代的高帶寬內(nèi)存，帶寬達(dá)每秒5TB，比原版的GH200所搭載的HBM3快50%，可為新版的GH200提供總共每秒10TB的組合帶寬，使新平臺(tái)能運(yùn)行比前代大3.5倍的模型，同時(shí)通過(guò)快3倍的內(nèi)存帶寬提高性能。

據(jù)英偉達(dá)介紹，目前配備 HBM3 內(nèi)存的原版GH200 Grace Hopper超級(jí)芯片平臺(tái)已經(jīng)在生產(chǎn)中，并將于下個(gè)月開(kāi)始商業(yè)銷(xiāo)售。而配備 HBM3e 內(nèi)存的新版GH200 Grace Hopper超級(jí)芯片平臺(tái)現(xiàn)在正在樣品測(cè)試中，預(yù)計(jì)將于 2024 年第二季度上市。

英偉達(dá)強(qiáng)調(diào)，新版GH200 Grace Hopper 使用了與原版相同的 Grace CPU 和 GH100 GPU 芯片，因此公司無(wú)需推出任何新的軟件版本或步進(jìn)。英偉達(dá)表示，原版 GH200 和升級(jí)版 GH200 將在市場(chǎng)上共存，這意味著后者將以更高的價(jià)格出售，畢竟其更先進(jìn)的內(nèi)存技術(shù)帶來(lái)的更高性能。

英偉達(dá)表示，配備 HBM3e 內(nèi)存的下一代 Grace Hopper 超級(jí)芯片平臺(tái)完全兼容英偉達(dá)的 MGX 服務(wù)器規(guī)范，并且可以與現(xiàn)有的服務(wù)器設(shè)計(jì)直接兼容。

黃仁勛說(shuō)，為了滿(mǎn)足生成式 AI 不斷增長(zhǎng)的需求，數(shù)據(jù)中心需要有針對(duì)特殊需求的加速計(jì)算平臺(tái)。新的GH200 Grace Hopper 超級(jí)芯片平臺(tái)提供了卓越的內(nèi)存技術(shù)和帶寬，以此提高吞吐量，提升無(wú)損耗連接GPU聚合性能的能力，并且擁有可以在整個(gè)數(shù)據(jù)中心輕松部署的服務(wù)器設(shè)計(jì)。

編輯：芯智訊-浪客劍