HBM 即高帶寬內(nèi)存，是一款新型的 CPU/GPU 內(nèi)存芯片。如果說(shuō)傳統(tǒng)的 DDR 就是采用的"平房設(shè)計(jì)"方式，那么 HBM 則是采用"樓房設(shè)計(jì)"方式。

目前，HBM 產(chǎn)品以 HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的順序開發(fā)。

可以看到，HBM 每一次更新迭代都會(huì)伴隨著處理速度的提高。

HBM3 自 2022 年 1 月誕生，便憑借其獨(dú)特的 2.5D/3D 內(nèi)存架構(gòu)，迅速成為高性能計(jì)算領(lǐng)域的翹楚。HBM3 不僅繼承了前代產(chǎn)品的優(yōu)秀特性，更在技術(shù)上取得了顯著的突破。它采用了高達(dá) 1024 位的數(shù)據(jù)路徑，并以驚人的 6.4 Gb/s 的速率運(yùn)行，實(shí)現(xiàn)了高達(dá) 819 Gb/s 的帶寬，為高性能計(jì)算提供了強(qiáng)大的支持。

而今，SK 海力士、美光等廠商將這一標(biāo)準(zhǔn)再度提升，HBM3E 一經(jīng)問(wèn)世便迅速贏得市場(chǎng)的熱烈追捧。

三大存儲(chǔ)巨頭的 HBM3E 技術(shù)特點(diǎn)

HBM3E 技術(shù)的主要引領(lǐng)者依然是美光、SK 海力士與三星這三大巨頭，它們繼續(xù)在這一領(lǐng)域發(fā)揮重要作用，共同推動(dòng)著技術(shù)的創(chuàng)新與進(jìn)步。以下是這三大廠商在 HBM3E 技術(shù)方面的精彩呈現(xiàn)。

SK 海力士-獨(dú)創(chuàng)的 MR-MUF 技術(shù)等

2023 年 8 月 21 日，SK 海力士宣布成功開發(fā)出面向 AI 的超高性能 DRAM 新產(chǎn)品 HBM3E，并開始向客戶提供樣品進(jìn)行性能驗(yàn)證。

據(jù)悉，SK 海力士采用了先進(jìn)的 MR-MUF（Molding with Rubberand UFP）技術(shù)，使得 HBM3E 的散熱性能比上一代產(chǎn)品提高 10%。這種技術(shù)通過(guò)在半導(dǎo)體芯片堆疊后的空間中注入液體形態(tài)的保護(hù)材料并進(jìn)行固化，與每堆疊一個(gè)芯片時(shí)鋪上薄膜型材料的方式相較，工藝效率更高，散熱方面也更加有效；其 HBM3E 的最高數(shù)據(jù)處理速度可達(dá)每秒 1.18TB（太字節(jié)），這意味著它能夠在極短的時(shí)間內(nèi)處理大量數(shù)據(jù)。相當(dāng)于在 1 秒內(nèi)處理 230 部全高清（FHD）級(jí)別的電影。

另外，其 HBM3E 提供高達(dá) 8Gbps 的傳輸速度，這是相較于前一代 HBM3 的顯著提升。這種高速度對(duì)于需要快速數(shù)據(jù)處理的應(yīng)用場(chǎng)景，如高性能計(jì)算和人工智能，尤為重要。

美光- 1β、先進(jìn)的硅通孔（TSV）技術(shù)等

2023 年 9 月，SK 海力士的 HBM3E 內(nèi)存迎來(lái)新競(jìng)爭(zhēng)對(duì)手-美光。

美光也利用其 1β（1-beta）技術(shù)、先進(jìn)的硅通孔（TSV）和其他實(shí)現(xiàn)差異化封裝解決方案的創(chuàng)新技術(shù)開發(fā)出業(yè)界領(lǐng)先的 HBM3E 設(shè)計(jì)。

憑借其卓越的性能、出色的能效等優(yōu)勢(shì)，美光的 HBM3E 收獲內(nèi)存市場(chǎng)的諸多青睞。比如美光 HBM3E 引腳速率超過(guò) 9.2Gb/s，提供超過(guò) 1.2TB/s 的內(nèi)存帶寬，助力人工智能加速器、超級(jí)計(jì)算機(jī)和數(shù)據(jù)中心實(shí)現(xiàn)超高速的數(shù)據(jù)訪問(wèn)；美光 HBM3E 目前提供 24 GB 容量，使數(shù)據(jù)中心能夠無(wú)縫擴(kuò)展其人工智能應(yīng)用。無(wú)論是用于訓(xùn)練海量神經(jīng)網(wǎng)絡(luò)還是加速推理任務(wù)，美光的解決方案都提供了必要的內(nèi)存帶寬。

三星-先進(jìn)的熱壓非導(dǎo)電薄膜技術(shù)等

三星也一直在致力于提供更為優(yōu)秀的產(chǎn)品以滿足人工智能時(shí)代對(duì)高性能和大容量解決方案的更高要求。

2023 年 10 月 21 日，三星在其一年一度的「存儲(chǔ)器技術(shù)日」活動(dòng)中，發(fā)布了名為「Shinebolt」的新一代 HBM3E DRAM。

三星 Shinebolt 支持新一代 AI 應(yīng)用，可提高總體擁有成本，加速數(shù)據(jù)中心的 AI 模型訓(xùn)練和推理。HBM3E 的每個(gè)引腳速度高達(dá) 9.8Gbps，這意味著整體傳輸速率可超過(guò) 1.2TBps。為實(shí)現(xiàn)更高的堆疊層數(shù)并改善熱特性，三星優(yōu)化了非導(dǎo)電薄膜 (NCF) 技術(shù)，以消除芯片層之間的間隙并盡可能提高導(dǎo)熱性。

2024 年 2 月，三星成功發(fā)布其首款 12 層堆疊 HBM3E DRAM——HBM3E 12H，這是三星目前為止容量最大的 HBM 產(chǎn)品。

三星 HBM3E 12H 支持全天候最高帶寬達(dá) 1280GB/s，產(chǎn)品容量也達(dá)到了 36GB。相比三星 8 層堆疊的 HBM3 8H，HBM3E 12H 在帶寬和容量上大幅提升超過(guò) 50%。

HBM3E 12H 采用了先進(jìn)的熱壓非導(dǎo)電薄膜（TC NCF）技術(shù)，使得 12 層和 8 層堆疊產(chǎn)品的高度保持一致，以滿足當(dāng)前 HBM 封裝的要求。HBM3E 12H 產(chǎn)品的垂直密度比其 HBM3 8H 產(chǎn)品提高了 20% 以上。三星先進(jìn)的熱壓非導(dǎo)電薄膜技術(shù)還通過(guò)允許在芯片之間使用不同尺寸的凸塊（bump）改善 HBM 的熱性能。

相比 HBM3 8H，HBM3E 12H 搭載于人工智能應(yīng)用后，預(yù)計(jì)人工智能訓(xùn)練平均速度可提升 34%，同時(shí)推理服務(wù)用戶數(shù)量也可增加超過(guò) 11.5 倍。

各家的量產(chǎn)進(jìn)度

2024 年 3 月 19 日，SK 海力士宣布，公司率先成功量產(chǎn)超高性能用于 AI 的存儲(chǔ)器新產(chǎn)品 HBM3E，將在 3 月末開始向客戶供貨。

SK 海力士作為全球首家推出 HBM3E 的供應(yīng)商，自去年 8 月宣布開發(fā)計(jì)劃至今，僅用了短短七個(gè)月時(shí)間便實(shí)現(xiàn)了量產(chǎn)。據(jù)悉，SK 海力士的首批 HBM3E 產(chǎn)品將按照預(yù)定計(jì)劃準(zhǔn)時(shí)交付給英偉達(dá)。

2024 年 2 月 26 日，美光宣布開始量產(chǎn)其 HBM3E 高帶寬內(nèi)存解決方案。據(jù)悉，英偉達(dá) H200 Tensor Core GPU 將采用美光 8 層堆疊的 24GB 容量 HBM3E 內(nèi)存，并于 2024 年第二季度開始出貨。

目前，三星已開始向客戶提供 HBM3E 12H 樣品，預(yù)計(jì)于今年下半年開始大規(guī)模量產(chǎn)。

競(jìng)購(gòu) HBM3E，英偉達(dá)既要又要還要

隨著 AI 服務(wù)器的流行，AI 加速卡的需求也呈現(xiàn)出強(qiáng)勁的增長(zhǎng)勢(shì)頭。而作為 AI 加速卡的重要組成部分，高頻寬存儲(chǔ)器 HBM 正逐漸成為其不可或缺的 DRAM 模塊。

英偉達(dá)的下一代 AI 加速卡 B100（Blackwell 架構(gòu)）的存儲(chǔ)器規(guī)格，將采用 HBM3E。而這種規(guī)格的存儲(chǔ)器，目前只有 SK 海力士、三星電子和美光能提供。為了保障 HBM 的穩(wěn)定供應(yīng)，英偉達(dá)甚至需要以大量預(yù)付款的形式提供資金支持內(nèi)存供應(yīng)商研發(fā) HBM 產(chǎn)品。要知道客戶向內(nèi)存供應(yīng)商大規(guī)模預(yù)付款項(xiàng)的情況是很少見的。

畢竟，急切需要 HBM3E 產(chǎn)能的并非只有英偉達(dá)一家，眾多企業(yè)都競(jìng)相爭(zhēng)奪這一稀缺資源，比如 AMD、微軟、亞馬遜等都在排隊(duì)購(gòu)買。

據(jù)悉，AMD 將在今年晚些時(shí)候推出采用 HBM3e 內(nèi)存的升級(jí)版 MI300 AI 加速器，隨后于 2025 年推出新一代 Instinct MI400。除英偉達(dá)和 AMD 之外，亞馬遜和微軟則是云服務(wù)領(lǐng)域的兩大巨頭，之前已引入生成式人工智能技術(shù)，并大幅追加了對(duì)于 AI 領(lǐng)域的投資。報(bào)道稱，SK 海力士正忙于應(yīng)對(duì)客戶對(duì) HBM3E 樣品的大量請(qǐng)求，但滿足英偉達(dá)首先提出的樣品數(shù)量要求非常緊迫。

在這場(chǎng)競(jìng)賽的伊始，兩大 HBM 供應(yīng)商的產(chǎn)能迅速被搶購(gòu)一空。

近日，SK 海力士副總裁 Kim Ki-tae 在一篇博文中表示，雖然 2024 年才剛開始，但今年 SK 海力士旗下的 HBM 已經(jīng)全部售罄。同時(shí)，公司為了保持市場(chǎng)領(lǐng)先地位，已開始為 2025 年預(yù)作準(zhǔn)備。美光科技也表示今年 HBM 產(chǎn)能已銷售一空，2025 年絕大多數(shù)產(chǎn)能已被預(yù)訂。

此前英偉達(dá)聯(lián)合創(chuàng)始人兼 CEO 黃仁勛在 GTC 2024 大會(huì)上表示，英偉達(dá)正在測(cè)試三星的 HBM 芯片，可能會(huì)在未來(lái)采用。

這也意味著，在當(dāng)前供需關(guān)系異常緊張的背景下，英偉達(dá)不僅依賴 SK 海力士和美光兩家提供 HBM3E 產(chǎn)能，還急需三星的加入以滿足其日益增長(zhǎng)的需求。

如此來(lái)看，在 AI 發(fā)展如日中天的當(dāng)下，HBM3E 的 2024 年產(chǎn)能存在嚴(yán)重不足。

2024 年 HBM 供給位元年增長(zhǎng)率有望高達(dá) 260%

據(jù)集邦咨詢，截至 2024 年底，整體 DRAM 產(chǎn)業(yè)規(guī)劃生產(chǎn) HBM TSV 的產(chǎn)能約為 250K/m，占總 DRAM 產(chǎn)能（約 1,800K/m）約 14%，原廠持續(xù)加大投入，供給位元年增長(zhǎng)率有望高達(dá) 260%。

占比方面，HBM 需求持續(xù)旺盛，2024 年訂單已基本被買家鎖定，占 DRAM 總產(chǎn)值比重有望從 2023 年的 8.4% 提升至 2024 年的 20.1%，成長(zhǎng)迅速。

該機(jī)構(gòu)同時(shí)預(yù)估了三大 HBM 廠商的 HBM/TSV 產(chǎn)能，其中三星 HBM TSV 年產(chǎn)能將在 2024 年達(dá)到 130K/m。SK 海力士次之，可達(dá) 120~125K/m；美光相對(duì)較少，僅為 20K/m、目前三星、SK 海力士規(guī)劃提高 HBM 產(chǎn)能最積極，其中 SK 海力士在 HBM3 市場(chǎng)的占有率逾 90%，而三星將連續(xù)數(shù)個(gè)季度緊追，未來(lái)將受惠于 AMD MI300 芯片的逐季放量。

HBM 高帶寬存儲(chǔ)芯片晶圓的尺寸相比同容量、同制程的 DDR5 大 35%~45%，然而良率（包含 TSV 封裝良率）要低 20%~30%。生產(chǎn)周期方面，HBM 的制造工藝（包含 TSV）較 DDR5 長(zhǎng) 1.5~2 個(gè)月不等。由于 HBM 芯片生產(chǎn)周期更長(zhǎng)，從投片到產(chǎn)出、封裝完成需要兩個(gè)季度以上。因此，急需取得充足供貨的買家更早鎖定訂單。

去年 6 月有媒體報(bào)道稱，SK 海力士正在準(zhǔn)備投資后段工藝設(shè)備，將擴(kuò)建封裝 HBM3 的利川工廠，預(yù)計(jì)到今年年末，該廠后段工藝設(shè)備規(guī)模將增加近一倍。

近日，SK 海力士正計(jì)劃投資大約 40 億美元，在美國(guó)印第安納州西拉斐特新建大型的先進(jìn)芯片封裝工廠，力爭(zhēng)擴(kuò)張 HBM 存儲(chǔ)產(chǎn)能以滿足英偉達(dá)龐大需求。該大型先進(jìn)封裝工廠可能于 2028 年開始運(yùn)營(yíng)。

為了縮小差距，美光也對(duì)其下一代產(chǎn)品 HBM3E 下了很大的賭注。據(jù)悉，美光科技位于中國(guó)臺(tái)灣的臺(tái)中四廠已于 2023 年 11 月初正式啟用。美光表示，臺(tái)中四廠將整合先進(jìn)探測(cè)與封裝測(cè)試功能，量產(chǎn) HBM3E 及其他產(chǎn)品，從而滿足人工智能、數(shù)據(jù)中心、邊緣計(jì)算及云端等各類應(yīng)用日益增長(zhǎng)的需求。

三星電子從去年第四季度開始擴(kuò)大第四代 HBM 即 HBM3 的供應(yīng)，目前正進(jìn)入一個(gè)過(guò)渡期。負(fù)責(zé)三星美國(guó)半導(dǎo)體業(yè)務(wù)的執(zhí)行副總裁 Han Jin-man 在今年 1 月表示，公司對(duì)包括 HBM 系列在內(nèi)的大容量存儲(chǔ)芯片寄予厚望，希望它能引領(lǐng)快速增長(zhǎng)的人工智能芯片領(lǐng)域。他在 CES 2024 的媒體見面會(huì)上對(duì)記者說(shuō)，「我們今年的 HBM 芯片產(chǎn)量將比去年提高 2.5 倍，明年還將繼續(xù)提高 2 倍?！?/span>

三星官方還透露，公司計(jì)劃在今年第四季度之前，將 HBM 的最高產(chǎn)量提高到每月 15 萬(wàn)至 17 萬(wàn)件，以此來(lái)爭(zhēng)奪 2024 年的 HBM 市場(chǎng)。此前三星電子斥資 105 億韓元收購(gòu)了三星顯示位于韓國(guó)天安市的工廠和設(shè)備，以擴(kuò)大 HBM 產(chǎn)能，同時(shí)還計(jì)劃投資 7000 億至 1 萬(wàn)億韓元新建封裝線。

然而值得注意的是，日前，海外分析師表示，三星 HBM3 芯片的生產(chǎn)良率約為 10%~20%，而 SK 海力士的 HBM3 良率可達(dá) 60%~70%。最大的原因就在于三星堅(jiān)持使用熱壓非導(dǎo)電薄膜（TC NCF）制造技術(shù)，這會(huì)導(dǎo)致一些生產(chǎn)問(wèn)題。而 SK 海力士則大規(guī)模采用回流模制底部填充（MR-MUF）技術(shù)，可以克服 NCF 的弱點(diǎn)。為提高產(chǎn)量，三星正在積極與材料制造商展開談判，其中包括日本的 Nagase 等公司，旨在獲取 MUF 材料的穩(wěn)定供應(yīng)。據(jù)悉，盡管三星已經(jīng)下達(dá)了用于 MUF 技術(shù)的芯片制造設(shè)備采購(gòu)訂單，但由于需要進(jìn)行更多的測(cè)試和優(yōu)化，使用 MUF 技術(shù)大規(guī)模生產(chǎn)高端芯片最早可能要到明年才能準(zhǔn)備就緒。

HBM 量?jī)r(jià)齊升，國(guó)產(chǎn)廠商迎頭趕上

國(guó)內(nèi)存儲(chǔ)廠商也在入局 HBM 市場(chǎng)。

根據(jù)采招網(wǎng)，近日，武漢新芯發(fā)布《高帶寬存儲(chǔ)芯粒先進(jìn)封裝技術(shù)研發(fā)和產(chǎn)線建設(shè)》招標(biāo)項(xiàng)目，利用三維集成多晶圓堆疊技術(shù)，打造更高容量、更大帶寬、更小功耗和更高生產(chǎn)效率的國(guó)產(chǎn)高帶寬存儲(chǔ)器產(chǎn)品，推進(jìn)多晶圓堆疊工藝產(chǎn)業(yè)化，新增生產(chǎn)設(shè)備約 17 臺(tái)/套，擬實(shí)現(xiàn)月產(chǎn)出能力≥3000 片（12 英寸）。

面對(duì)海外大廠對(duì)于 HBM3E 的量產(chǎn)，國(guó)內(nèi)存儲(chǔ)廠商也在 HBM 技術(shù)上進(jìn)行著加速突破，有望在 AI 大浪潮的需求下提升競(jìng)爭(zhēng)實(shí)力。
例如中國(guó)臺(tái)灣的華邦電于去年 8 月介紹了其類 HBM 高帶寬產(chǎn)品 CUBEx，采用 1~4 層 TSV DRAM 堆疊，I/O 速度 500M~2Gbps，總帶寬最高可達(dá) 1024GB/s，顆粒容量為 0.5~4GB，功耗低至不足 1pJ/bit。這種比常規(guī) HBM 擁有更高帶寬的 CUBEx 可用于 AR、VR、可穿戴等領(lǐng)域。

中國(guó)大陸方面，目前國(guó)際一線廠商 DRAM 制程在 1alpha、1beta 水平，國(guó)產(chǎn) DRAM 制程在 25~17nm 水平，中國(guó)臺(tái)灣 DRAM 制程在 25~19nm 水平。國(guó)內(nèi) DRAM 制程接近海外，且國(guó)內(nèi)擁有先進(jìn)封裝技術(shù)資源和 GPU 客戶資源，有強(qiáng)烈的國(guó)產(chǎn)化訴求，未來(lái)國(guó)產(chǎn) DRAM 廠商有望突破 HBM。

目前中國(guó)大陸只有長(zhǎng)電科技、通富微電和盛合晶微等一線封裝廠商擁有支持 HBM 生產(chǎn)的技術(shù)（如 TSV 硅通孔）和設(shè)備。長(zhǎng)電科技在投資者互動(dòng)中表示，其 XDFOI 高密度扇出封裝解決方案也同樣適用于 HBM 的 Chip to Wafer 和 Chip to Chip TSV 堆疊應(yīng)用；通富微電此前表示，南通通富工廠先進(jìn)封裝生產(chǎn)線建成后，公司將成為國(guó)內(nèi)最先進(jìn)的 2.5D/3D 先進(jìn)封裝研發(fā)及量產(chǎn)基地，實(shí)現(xiàn)國(guó)內(nèi)在 HBM 高性能封裝技術(shù)領(lǐng)域的突破，對(duì)于國(guó)家在集成電路封測(cè)領(lǐng)域突破「卡脖子」技術(shù)具有重要意義。

在其余供應(yīng)鏈上，芯片設(shè)計(jì)企業(yè)國(guó)芯科技則表示已與合作伙伴一起正在基于先進(jìn)工藝開展流片驗(yàn)證相關(guān) chiplet 芯片高性能互聯(lián) IP 技術(shù)工作，和上下游合作廠家積極開展包括 HBM 技術(shù)在內(nèi)的高端芯片封裝合作。

紫光國(guó)微表示，公司 HBM 產(chǎn)品為公司特種集成電路產(chǎn)品，目前還在研發(fā)階段。

香農(nóng)芯創(chuàng)此前表示，公司作為 SK 海力士分銷商之一具有 HBM 代理資質(zhì)。公司未來(lái)根據(jù)下游客戶需求，在原廠供應(yīng)有保障的前提下形成相應(yīng)銷售。

飛凱材料表示，環(huán)氧塑封料是 HBM 存儲(chǔ)芯片制造技術(shù)所需要的材料之一，MUF 材料按性狀和工藝分不同品種，目前公司 MUF 材料產(chǎn)品包括液體封裝材料 LMC 及 GMC 顆粒封裝料，液體封裝材料 LMC 已經(jīng)量產(chǎn)并形成少量銷售，顆粒填充封裝料 GMC 尚處于研發(fā)送樣階段。

興森科技表示，公司的 FCBGA 封裝基板可用于 HBM 存儲(chǔ)的封裝，但目前尚未進(jìn)入海外 HBM 龍頭產(chǎn)業(yè)鏈。

HBM3 和 HBM3E，作為 HBM 芯片的最新迭代版本，正逐漸成為市場(chǎng)的寵兒。它們與核心微處理器芯片的緊密結(jié)合，為生成式人工智能處理海量數(shù)據(jù)提供了強(qiáng)有力的支持。未來(lái)，隨著 HBM3 和 HBM3E 技術(shù)的不斷完善和成熟，我們有理由相信，它們將在更多領(lǐng)域大放異彩，成為推動(dòng)人工智能發(fā)展的重要力量。無(wú)論是國(guó)內(nèi)還是國(guó)際的廠商，都將在這一領(lǐng)域中迎來(lái)新的發(fā)展機(jī)遇和挑戰(zhàn)。