D 在加利福尼亞州圣何塞舉行的 Advancing AI 活動期間推出了 Instinct MI300X AI 加速器和 Instinct MI300A（全球首款數(shù)據(jù)中心 APU），希望可以充分利用蓬勃發(fā)展的生成式 AI 和 HPC 市場。AMD 使用最先進(jìn)生產(chǎn)技術(shù)打造了 MI300 系列，并采用「3.5D」封裝等新技術(shù)來生產(chǎn)兩款芯片，據(jù)稱這兩款產(chǎn)品在各種人工智能工作負(fù)載中提供了超越英偉達(dá)的性能。AMD 并未透露其新芯片的定價(jià)，但這些產(chǎn)品目前正在向眾多 OEM 合作伙伴發(fā)貨。

Instinct MI300 是一種改變游戲規(guī)則的設(shè)計(jì)：數(shù)據(jù)中心 APU 混合了總共 13 個(gè)小芯片，其中許多是 3D 堆疊的，以創(chuàng)建一個(gè)具有 24 個(gè) Zen 4 CPU 內(nèi)核并融合了 CDNA 3 圖形引擎和 8 個(gè)堆棧的芯片 HBM3。總體而言，該芯片擁有 1530 億個(gè)晶體管，是 AMD 迄今為止制造的最大芯片。AMD 聲稱該芯片在某些工作負(fù)載中的性能比英偉達(dá) H100 GPU 高出 4 倍，并宣稱其每瓦性能是其兩倍。
AMD 表示，其 Instinct MI300X GPU 在人工智能推理工作負(fù)載中的性能比英偉達(dá) H100 高出 1.6 倍，并在訓(xùn)練工作中提供類似的性能，從而為業(yè)界提供了急需的英偉達(dá) GPU 的高性能替代品。此外，這些加速器的 HBM3 內(nèi)存容量是英偉達(dá) GPU 的兩倍以上（每個(gè) 192 GB 令人難以置信），使其 MI300X 平臺能夠支持每個(gè)系統(tǒng)兩倍以上的 LLM 數(shù)量，并運(yùn)行比英偉達(dá) H100 HGX 更大的模型。

AMD Instinct MI300X

MI300X 代表了 AMD 基于小芯片的設(shè)計(jì)方法的頂峰，將八個(gè) 12Hi 堆棧的 HBM3 內(nèi)存與八個(gè) 3D 堆棧的 5nm CDNA 3 GPU 小芯片（稱為 XCD）融合在四個(gè)底層 6nm I/O 芯片上，這些芯片使用 AMD 現(xiàn)已成熟的技術(shù)進(jìn)行連接混合鍵合技術(shù)。

來源：AMD

來源：AMD

其結(jié)果是一個(gè) 750W 加速器，擁有 304 個(gè)計(jì)算單元、192GB HBM3 容量和 5.3 TB/s 帶寬。該加速器還具有 256MB Infinity Cache，用作共享 L3 緩存層，以促進(jìn)小芯片之間的通信。AMD 將其將小芯片綁定在一起的封裝技術(shù)稱為「3.5D」，表示 3D 堆疊 GPU 和 I/O 芯片通過混合鍵合融合在一起，并與模塊其余部分的標(biāo)準(zhǔn) 2.5D 封裝（水平連接）相結(jié)合。我們將更深入地研究下面的架構(gòu)組件。
MI300X 加速器設(shè)計(jì)為在 AMD 的生成式 AI 平臺中以八組為一組工作，通過 Infinity Fabric 互連的 GPU 之間的吞吐量為 896 GB/s。該系統(tǒng)擁有 1.5TB 的 HBM3 內(nèi)存總量，可提供高達(dá) 10.4 Petaflops 的性能 (BF16/FP16)。該系統(tǒng)基于開放計(jì)算項(xiàng)目 (OCP) 通用基板 (UBB) 設(shè)計(jì)標(biāo)準(zhǔn)構(gòu)建，從而簡化了采用過程，特別是對于超大規(guī)模企業(yè)。
與英偉達(dá)的 H100 HGX 平臺 (BF16/FP16) 相比，AMD 的 MI300X 平臺的內(nèi)存容量增加了 2.4 倍，計(jì)算能力據(jù)稱提高了 1.3 倍，同時(shí)保持了相當(dāng)?shù)木酆想p向和單節(jié)點(diǎn)環(huán)形帶寬。AMD 為 MI300X 平臺配備了 400GbE 網(wǎng)絡(luò)并支持多種網(wǎng)卡，而英偉達(dá)則傾向于使用自己收購 Mellanox 后的網(wǎng)絡(luò)產(chǎn)品。

一如既往，我們應(yīng)該謹(jǐn)慎對待供應(yīng)商基準(zhǔn)。AMD 分享了一系列性能指標(biāo)，顯示其針對 HPC 工作負(fù)載的 FP64 和 FP32 向量矩陣峰值理論吞吐量高達(dá) H100 的 2.4 倍，TF32、FP16、BF16、FP8 和 INT8 峰值理論吞吐量高達(dá) 1.3 倍對于 AI 工作負(fù)載，所有預(yù)測都沒有稀疏性（不過 MI300X 確實(shí)支持稀疏性）。

MI300X 的大內(nèi)存容量和帶寬非常適合推理。AMD 使用 1760 億參數(shù)的 Flash Attention 2 模型聲稱在吞吐量方面比英偉達(dá) H100 具有 1.6 倍的性能優(yōu)勢，并使用 700 億參數(shù)的 Llama 2 模型來強(qiáng)調(diào) 1.4 倍的聊天延遲優(yōu)勢（從 2K 序列長度/128 個(gè)令牌工作負(fù)載的開始到結(jié)束）。

AMD 的 MI300X 平臺在 300 億參數(shù) MPT 訓(xùn)練工作負(fù)載中提供的性能與 H100 HGX 系統(tǒng)大致相同，但需要注意的是，此測試并不是加速器的一對一比較。相反，該測試讓八個(gè)加速器組相互競爭，因此平臺級功能更像是一個(gè)限制因素。無論哪種情況，這種性能都會很快引起受到英偉達(dá) GPU 短缺困擾的行業(yè)的興趣。

說到平臺能力，AMD 還聲稱 MI300X 平臺的內(nèi)存容量優(yōu)勢可以容納比 H100 系統(tǒng)多兩倍的 30B 參數(shù)訓(xùn)練模型和 70B 參數(shù)推理模型。此外，MI300X 平臺最多可支持 70B 訓(xùn)練和 290B 參數(shù)推理模型，這兩個(gè)模型都是 H100 HGX 支持的模型的兩倍。
當(dāng)然，英偉達(dá)即將推出的 H200 GPU 在內(nèi)存容量和帶寬方面將更具競爭力，而計(jì)算性能將與現(xiàn)有的 H100 保持相似。英偉達(dá)要到明年才會開始發(fā)貨 H200，因此與 MI300X 的競爭仍然存在。

AMD 本能 MI300A

AMD Instinct MI300A 是全球首款數(shù)據(jù)中心 APU，這意味著它將 CPU 和 GPU 結(jié)合在同一個(gè)封裝中。它將直接與英偉達(dá)的 Grace Hopper Superchips 競爭，后者的 CPU 和 GPU 位于單獨(dú)的芯片封裝中，可以協(xié)同工作。MI300A 已經(jīng)在 El Capitan 超級計(jì)算機(jī)中取得了顯著的勝利，AMD 已經(jīng)將該芯片運(yùn)送給其合作伙伴。

MI300A 使用與 MI300X 相同的基本設(shè)計(jì)和方法，但替換為三個(gè) 5nm 核心計(jì)算芯片 (CCD)，每個(gè)核心具有八個(gè) Zen 4 CPU 核心，與 EPYC 和 Ryzen 處理器上的相同，從而取代了兩個(gè) XCD GPU 小芯片。
這使得 MI300A 配備了 24 個(gè)線程 CPU 內(nèi)核和分布在 6 個(gè) XCD GPU 小芯片上的 228 個(gè) CDNA 3 計(jì)算單元。與 MI300X 一樣，所有計(jì)算小芯片均采用混合鍵合方式與四個(gè)底層 I/O 芯片 (IOD) 進(jìn)行 3D 堆疊，以實(shí)現(xiàn)遠(yuǎn)超標(biāo)準(zhǔn)芯片封裝技術(shù)所能實(shí)現(xiàn)的帶寬、延遲和能源效率。

AMD 通過使用 8 個(gè) 8Hi HBM3 堆棧（而不是 MI300X 中使用的 8 個(gè) 12Hi 堆棧）來削減內(nèi)存容量，從而將容量從 192GB 削減至 128GB。然而，內(nèi)存帶寬仍為 5.3 TB/s。AMD 表示，減少內(nèi)存容量的決定并不是由于功率或熱量限制；相反，它針對目標(biāo) HPC 和 AI 工作負(fù)載定制芯片。無論如何，128GB 的容量和 5.3 TB/s 的吞吐量仍然是英偉達(dá) H100 SXM GPU 提供的 1.6 倍。
MI300A 的默認(rèn) TDP 為 350W，但可配置為最高 760W。AMD 根據(jù)使用情況在芯片的 CPU 和 GPU 部分之間動態(tài)分配功率，從而優(yōu)化性能和效率。AMD 盡可能巧妙地重復(fù)利用：MI300A 插入 AMD 的標(biāo)準(zhǔn) LGA6096 插槽，就像 EPYC Genoa 處理器一樣，但該插槽的 SH5 版本與使用 SP5 的 AMD EPYC 處理器在電氣上不兼容。
內(nèi)存空間在 CPU 和 GPU 之間共享，從而消除了數(shù)據(jù)傳輸。該技術(shù)通過消除單元之間的數(shù)據(jù)傳輸來提高性能和能源效率，同時(shí)還減少編碼負(fù)擔(dān)。與 MI300X 一樣，該芯片具有中央 256MB 無限緩存，有助于確保流經(jīng)芯片的數(shù)據(jù)的帶寬和延遲。
AMD 聲稱 FP64 Matrix/DGEMM 和 FP64/FP32 Vector TFLOPS 比 H100 高出 1.8 倍。該公司還聲稱 TF32、FP16、BF16、FP8 和 INT8 與 H100 相同。

AMD 聲稱，在 OpenFOAM HPC 測試中，其 MI300A 比英偉達(dá)的 H100 快 4 倍，但這種比較并不理想：H100 是 GPU，而 MI300A 中的混合 CPU 和 GPU 計(jì)算在這種內(nèi)存密集型中提供了固有的優(yōu)勢，有時(shí)是串行工作負(fù)載，通過其共享內(nèi)存尋址空間。與英偉達(dá) Grace Hopper GH200 Superchip 進(jìn)行比較會更好，后者也將 CPU 和 GPU 以緊密耦合的方式結(jié)合在一起，但 AMD 表示，它找不到任何公開列出的英偉達(dá) GH200 的 OpenFOAM 結(jié)果。
AMD 確實(shí)提供了與英偉達(dá) GH200 的每瓦性能比較數(shù)據(jù)，以強(qiáng)調(diào) 2 倍的優(yōu)勢，這些結(jié)果基于有關(guān) H200 的公開信息。AMD 還強(qiáng)調(diào)了與 H100 在 Mini-Nbody、HPCG 和 Gromacs 基準(zhǔn)測試中的比較，聲稱分別領(lǐng)先 1.2 倍、1.1 倍和 1.1 倍。同樣，對于這組基準(zhǔn)測試，與 GH200 進(jìn)行比較會更理想。

AMD Instinct MI300X 和 MI300A 架構(gòu)

我們介紹了上面設(shè)計(jì)的基礎(chǔ)知識，這些細(xì)節(jié)為理解下面的部分提供了重要的視角。

AMD 利用臺積電的 3D 混合鍵合 SoIC（集成電路上硅）技術(shù)，在四個(gè)底層 I/O 芯片之上對各種計(jì)算元件進(jìn)行 3D 堆疊，無論是 CPU CCD（核心計(jì)算芯片）還是 GPU XCD。每個(gè) I/O 芯片可以容納兩個(gè) XCD 或三個(gè) CCD。每個(gè) CCD 與現(xiàn)有 EPYC 芯片中使用的 CCD 相同，每個(gè) CCD 擁有八個(gè)超線程 Zen 4 核心。MI300A 使用了其中的三個(gè) CCD 和六個(gè) XCD，而 MI300X 使用了八個(gè) XCD。
HBM 堆棧使用采用 2.5D 封裝技術(shù)的標(biāo)準(zhǔn)中介層進(jìn)行連接。AMD 將 2.5D 和 3D 封裝技術(shù)相結(jié)合，使該公司創(chuàng)造了「3.5D」封裝的綽號。每個(gè) I/O 芯片都包含一個(gè) 32 通道 HBM3 內(nèi)存控制器，用于托管 8 個(gè) HBM 堆棧中的兩個(gè)，從而為該設(shè)備提供了總共 128 個(gè) 16 位內(nèi)存通道。MI300X 采用 12Hi HBM3 堆棧，容量為 192GB，而 MI300A 使用 8Hi 堆棧，容量為 128GB。
AMD 還增加了 256MB 的無限緩存總?cè)萘?，分布在所有四個(gè) I/O 芯片上，通過預(yù)取器緩存數(shù)據(jù)流量，從而提高命中率和電源效率，同時(shí)減少總線延遲。這為 CPU 增加了新級別的緩存（概念上是共享 L4），同時(shí)為 GPU 提供共享 L3 緩存。Infinity Fabric NoC（片上網(wǎng)絡(luò)）被稱為 AMD Infinity Fabric AP（高級封裝）互連，用于連接 HBM、I/O 子系統(tǒng)和計(jì)算。
該芯片總共具有 128 個(gè) PCIe 5.0 連接通道，分布在四個(gè) I/O 芯片上。它們被分為兩組：一組是四個(gè) x16 PCIe 5.0 + 第四代 Infinity Fabric 鏈路的組合，而另一組則有四個(gè)專門用于 Infinity Fabric 的 x16 鏈路。后者僅用于將 MI300 相互連接（跨套接字流量）。
MI300X 純粹用作端點(diǎn)設(shè)備，它連接到外部 CPU。相比之下，MI300A 由于其本機(jī) CPU 內(nèi)核而采用自托管，因此 PCIe 根復(fù)合體必須充當(dāng)主機(jī)。為了適應(yīng)這兩種場景，AMD 定制的 MI300 I/O 芯片支持來自同一 PCIe 5.0 根復(fù)合體的兩種模式，該根復(fù)合體是該公司 IP 產(chǎn)品組合的新成員。
AMD 的 CPU CCD 通過 3D 混合鍵合到底層 I/O 芯片，需要新的接口。雖然這與 EPYC 服務(wù)器處理器中的 CCD 相同，但這些芯片通過利用標(biāo)準(zhǔn) 2.5D 封裝的 GMI3（全局內(nèi)存互連 3）接口進(jìn)行通信。對于 MI300，AMD 添加了一個(gè)新的焊盤通孔接口，可繞過 GMI3 鏈路，從而提供垂直堆疊芯片所需的 TSV（通過硅通孔）。該接口在雙鏈路寬模式下運(yùn)行。
5nm XCD GPU 芯片標(biāo)志著 AMD GPU 設(shè)計(jì)的全面芯片化。與 MI200 中使用的小芯片表現(xiàn)為兩個(gè)獨(dú)立的設(shè)備不同，MI300 小芯片表現(xiàn)為一個(gè)單片 GPU。
每個(gè) XCD 有 40 個(gè)物理 CDNA3 計(jì)算單元，但只有 38 個(gè)被激活（這有助于解決良率問題）。每個(gè) 38-CU 小芯片都有 4MB 共享 L2 (16x 256KB)。XCD 和 IOD 具有硬件輔助機(jī)制，可將作業(yè)分解為更小的部分、分派它們并保持它們同步，從而減少主機(jī)系統(tǒng)開銷。這些單元還具有硬件輔助的緩存一致性。

每個(gè) I/O 芯片上連接有兩個(gè) XCD，然后連接到兩個(gè) HBM3 堆棧。這允許 GPU 與兩個(gè)連接的堆棧進(jìn)行私密通信，以緩解帶寬、延遲和一致性問題。然而，每個(gè) XCD 都可以與任何內(nèi)存堆棧通信。

當(dāng)然，尋址遠(yuǎn)程堆棧會帶來延遲損失。內(nèi)存事務(wù)傳輸?shù)迷竭h(yuǎn)，就會產(chǎn)生越長的延遲。AMD 指出，直接連接到 IOD 和 XCD 的 HBM 是零跳事務(wù)，而訪問 IOD 上的不同內(nèi)存堆棧是兩跳跳轉(zhuǎn)。最后，訪問相鄰 IOD 上的內(nèi)存堆棧是三跳跳轉(zhuǎn)。兩跳跳躍的代價(jià)是延遲增加大約 30%，而三跳跳躍則增加 60% 的延遲。

幻燈片顯示了 NoC 的可用帶寬，封裝垂直部分的 I/O 芯片之間的帶寬為 1.2 TB/s/dir，而水平數(shù)據(jù)路徑提供的帶寬略多，為 1.5 TB/s/dir。帶寬，以幫助容納來自 I/O 設(shè)備的額外流量，從而允許 I/O 流量與內(nèi)存流量分開處理。封裝右側(cè)和左側(cè)的 PCIe 復(fù)合體為每個(gè) I/O 芯片提供 64 GB/s/dir 的吞吐量。在包的頂部和底部，您可以看到每個(gè) HBM 堆棧提供 665 GB/s 的吞吐量。

AMD 有多種分區(qū)方案，可將計(jì)算單元劃分為不同的邏輯域，就像 EPYC 處理器的 NPS 設(shè)置一樣。這允許將不同的 XCD 分成不同的組以優(yōu)化帶寬，從而最大限度地提高性能并限制「NUMAness」的影響。多種配置范圍從將單元尋址為一個(gè)邏輯設(shè)備到將它們尋址為八個(gè)不同的設(shè)備，以及多種中間選項(xiàng)，為各種工作負(fù)載提供了足夠的靈活性。

AMD 確定 3D 混合鍵合 (SoIC) 是在計(jì)算單元和 I/O 芯片之間提供足夠帶寬的唯一現(xiàn)實(shí)途徑。公司在該技術(shù)方面擁有豐富的經(jīng)驗(yàn)；它已經(jīng)應(yīng)用于數(shù)百萬個(gè)配備 3D V-Cache 的 PC 處理器中。

該公司在這種現(xiàn)已成熟的混合鍵合技術(shù)方面積累的長期經(jīng)驗(yàn)使其有信心在 MI300 處理器中繼續(xù)采用該技術(shù)。與由 3D V-Cache 和標(biāo)準(zhǔn)型號組成的 AMD 消費(fèi)類 PC 芯片系列相比，MI300 處理器代表該公司首次在整個(gè)產(chǎn)品堆棧中完全依賴該技術(shù)。

總體而言，SoC 連接可在各種 3D 堆疊單元中提供高達(dá) 17 TB/s 的垂直帶寬。SoIC 尺寸為 13x29mm。

最后一張幻燈片中的剖面圖展示了 3.5D 包裝方法的復(fù)雜性和美麗。它說明了如何從底部使用有機(jī)基板、上方具有金屬布線和 TSV 的 CoWos 無源硅中介層，以及采用混合鍵合（9 微米間距）的 3D 堆疊 IOD 和 XCD 來構(gòu)建封裝。將有機(jī)基板與硅中介層（底部）配合的巨大銅凸塊突出了 3D 堆疊部分的頂部和底部芯片（靠近頂部）之間幾乎不可見的混合鍵合連接是多么小和密集。

混合鍵合技術(shù)需要減薄芯片以暴露 TSV，以便它們可以配對。因此，AMD 必須在封裝頂部采用硅墊片以保持結(jié)構(gòu)完整性，就像其他配備 3D V-Cache 的處理器一樣。

AMD 高級副總裁、AMD 公司院士兼產(chǎn)品技術(shù)架構(gòu)師 Sam Naffziger 向我們介紹了團(tuán)隊(duì)在設(shè)計(jì)階段遇到的一些挑戰(zhàn)。

巧妙的 IP 重用一直是 AMD 小芯片戰(zhàn)略的基石，MI300 也不例外。MI300 團(tuán)隊(duì)沒有資源為 MI300 構(gòu)建全新的 CPU CCD，因此他們要求該公司的 CCD 團(tuán)隊(duì)在設(shè)計(jì)階段的早期將 3D 接口 (TSV) 添加到 EPYC CCD。令人驚訝的是，工程團(tuán)隊(duì)找到了一種將連接塞入現(xiàn)有 GMI 接口之間的方法。

在第一張幻燈片中，您可以看到兩個(gè)小藍(lán)點(diǎn)代表 TSV 的總面積，而點(diǎn)兩側(cè)的大橙色矩形塊是用于 2.5D 封裝的標(biāo)準(zhǔn) GMI3 接口。這說明了 SoIC 技術(shù)的密度和面積效率是多么令人難以置信。AMD 還添加了一些門、開關(guān)和多路復(fù)用器，以允許信號從 GMI3 接口重新路由到 3D 接口。

AMD 創(chuàng)建了 I/O 芯片的鏡像版本，以確保它們可以旋轉(zhuǎn)到正確的位置，同時(shí)確保 XCD 中的內(nèi)存控制器和其他接口仍然正確對齊。工程團(tuán)隊(duì)對稱地設(shè)計(jì)了接口/信號和電源連接，從而允許小芯片旋轉(zhuǎn)，如第二張圖所示。

然而，雖然 AMD 專門為 MI300 從頭開始設(shè)計(jì)了 I/O 芯片，但該團(tuán)隊(duì)必須采用 EPYC 的現(xiàn)有 CCD 設(shè)計(jì)。他們不想為 CCD 創(chuàng)建鏡面掩模組，這在此類設(shè)計(jì)中通常是必需的，以確保正確的接口對齊，因?yàn)檫@會增加設(shè)計(jì)的成本和復(fù)雜性。然而，其中兩個(gè) CCD 需要旋轉(zhuǎn) 180 度才能確保正確對齊。然而，CCD 的外部接口設(shè)計(jì)不對稱，因此帶來了挑戰(zhàn)。

如幻燈片所示，AMD 通過在 I/O 芯片上的鍵合焊盤通孔 (BPV) 連接點(diǎn)添加一些冗余來克服這一挑戰(zhàn)，從而允許 CCD 僅旋轉(zhuǎn)而不是鏡像。

不過，電力輸送仍然是一個(gè)挑戰(zhàn)。TSV 是非常小的銅插頭，AMD 需要為位于 I/O 芯片頂部的計(jì)算芯片提供數(shù)百安培的電源。細(xì)小的 TSV 不太適合這項(xiàng)工作，因此它們需要大量的連接來供電。AMD 設(shè)計(jì)了一種新的電網(wǎng)來克服這個(gè)問題，它滿足了 IR 壓降目標(biāo)，并且沒有超過電流密度限制。

最后，由于 3D 堆疊設(shè)計(jì)，該設(shè)計(jì)提出了一些新的熱挑戰(zhàn)。通過熱建模，AMD 確定了兩種類型的極端操作條件：內(nèi)存密集型和 GPU 密集型。然后利用其基于使用模式在單元之間動態(tài)轉(zhuǎn)移功率的行之有效的策略來幫助緩解這些問題。

因此，一個(gè)令人難以置信的處理器誕生了。AMD 的 MI300 在相當(dāng)長的一段時(shí)間內(nèi)對英偉達(dá)在 AI 和 HPC 工作負(fù)載方面的性能主導(dǎo)地位提出了第一次真正的挑戰(zhàn)，AMD 堅(jiān)稱自己有能力滿足需求。在 GPU 短缺的時(shí)代，這是一種競爭優(yōu)勢，并且肯定會刺激行業(yè)的快速發(fā)展。AMD 現(xiàn)在正在向其合作伙伴運(yùn)送 MI300 處理器。