HBM（HighBandwidth Memory，高帶寬內存）是一款新型的 CPU/GPU 內存芯片，其實就是將很多個 DDR 芯片堆疊在一起后和 GPU 封裝在一起，實現(xiàn)大容量，高位寬的 DDR 組合陣列。該內存技術突破了內存容量與帶寬瓶頸，被視為新一代 DRAM 解決方案，也契合了半導體技術小型化、集成化的發(fā)展趨勢。

過去 10 年里，HBM 技術性能不斷升級迭代，已經(jīng)成為高性能計算領域重要的技術基石之一。2023 年初以來，以 ChatGPT 為代表的 AI 大模型催生了巨量的算力需求，使 HBM 成為整個存儲芯片行業(yè)為數(shù)不多的比較景氣的細分市場。

在當下的 HBM 市場有兩大熱詞，一個是「HBM3 缺貨」另一個便是「HBM4 技術競賽」。

HBM3 缺貨的號角已經(jīng)吹響很久。近日 SK 海力士 CEO 郭魯正透露，公司今年的 HBM 產(chǎn)能已經(jīng)全部售罄，明年訂單也基本售罄。三星電子也透露，HBM 產(chǎn)能已售罄。美光科技也在日前的財報電話會議上透露，其 HBM 產(chǎn)品已全部售罄，且 2025 年的大部分產(chǎn)能也已被預訂。

盡管 HBM 產(chǎn)能的緊張狀況日益凸顯，三大原廠也并未因此而減緩新技術開發(fā)的步伐，反而將 HBM4 的技術競賽推向了更高的熱度。

那么 HBM4 較 HBM3 有哪些不同？HBM4 又能給我們帶來哪些驚喜？HBM4 的推進是否會影響 HBM3 未來產(chǎn)能開出？在此之前，先來了解一下 HBM4。

HBM4 亮點幾何？

據(jù)悉，自 2015 年以來，從 HBM1 到 HBM3e 各種更新和改進中，HBM 在所有迭代中都保留了相同的 1024 位 (每個堆棧) 接口，即具有以相對適中的時鐘速度運行的超寬接口。然而，隨著內存?zhèn)鬏斔俾室蟛粩嗵岣?，尤其是?DRAM 單元的基礎物理原理沒有改變的情況下，這一速度將無法滿足未來 AI 場景下的數(shù)據(jù)傳輸要求。為此，下一代 HBM4 需要對高帶寬內存技術進行更實質性的改變，即從更寬的 2048 位內存接口開始。

接口寬度從每堆棧 1024 位增加到每堆棧 2048 位，為 HBM4 帶來突破性變革。采用 2048 位內存接口，理論上也可以使傳輸速度再次翻倍。例如，英偉達的旗艦 Hopper H100 GPU，搭配的六顆 HBM3 達到 6144-bit 位寬。如果內存接口翻倍到 2048 位，英偉達理論上可以將芯片數(shù)量減半到三個，并獲得相同的性能。

HBM4 在堆棧的層數(shù)上也有所變化，除了首批的 12 層垂直堆疊，預計 2027 年存儲器廠商還會帶來 16 層垂直堆疊。堆疊技術的進步意味著在同一物理空間內可以容納更多的內存單元，從而顯著提高內存容量和帶寬。這種高密度堆疊技術對于需要大容量和高速訪問的應用來說是一個巨大的優(yōu)勢，特別是在數(shù)據(jù)中心和超級計算機中。作為對比，HBM3 的堆疊層數(shù)主要為 8 層/12 層。此外，HBM 還會往更為定制化的方向發(fā)展，不僅排列在 SoC 主芯片旁邊，部分還會轉向堆棧在 SoC 主芯片之上。

隨著技術的進步，HBM4E 有望帶來更低的功耗。這將有助于減少系統(tǒng)能耗，降低發(fā)熱，延長設備的電池壽命。與此同時，HBM4E 內存有望在各種領域得到應用，包括人工智能、高性能計算、數(shù)據(jù)中心、圖形處理等領域，為這些領域帶來更高的性能和效率。

各存儲巨頭各展神通

SK 海力士：采用 MR-MUF 等先進封裝技術、攜手臺積電

在技術層面，SK 海力士將繼續(xù)采用先進的 MR-MUF 技術，從而實現(xiàn) 16 層堆疊。

在 MR-MUF（批量回流模制底部填充）中，批量回流焊（MR）是通過融化堆疊芯片之間的凸塊，讓芯片互相連接的技術。模塑底部填充（MUF）是在堆疊的芯片之間填充保護材料從而提高耐久性和散熱效果的技術。使用 MR-MUF，則可同時封裝多層 DRAM。

與此同時 SK 海力士還致力于芯粒（Chiplet）及混合鍵合（Hybrid bonding）等下一代先進封裝技術的開發(fā)，以支持半導體存儲器和邏輯芯片之間的異構集成，同時促進新型半導體的發(fā)展。

根據(jù) SK 海力士最新公布的信息顯示，HBM4 將比第五代 HBM3E 速度提升 40%，而耗電量僅為后者的 70%。

SK 海力士還計劃在 HBM4 基礎芯片上采用臺積電的先進邏輯工藝，以便可以將附加功能封裝到有限的空間中。這也有助于 SK 海力士生產(chǎn)定制 HBM，滿足客戶對性能和功效的廣泛需求。SK 海力士和臺積電還同意合作優(yōu)化 SK 海力士的 HBM 和臺積電的 CoWoS（基板上晶圓芯片）技術的集成，同時合作響應常見客戶與 HBM 相關的要求。

SK 海力士總裁兼 AI 基礎設施負責人 Justin Kim 表示：「我們希望與臺積電建立強有力的合作伙伴關系，以幫助加快我們與客戶的開放合作，并開發(fā)業(yè)界性能最佳的 HBM4?！?/span>

上個月，兩家公司簽署了諒解備忘錄。

三星：同步開發(fā)混合鍵合和傳統(tǒng)的 TC-NCF 工藝

三星電子在 HBM4 內存鍵合技術方面采用兩條腿走路的策略，同步開發(fā)混合鍵合和傳統(tǒng)的 TC-NCF（thermal compression with non-conductive film 非導電薄膜熱壓縮）工藝。

混合鍵合技術作為一種新型的內存鍵合方式，相較于傳統(tǒng)的鍵合工藝，具有顯著的優(yōu)勢。它摒棄了在 DRAM 內存層間添加凸塊的繁瑣步驟，直接通過銅對銅的連接方式實現(xiàn)上下兩層的連接。這種創(chuàng)新的方式不僅提高了信號傳輸速率，更好地滿足了 AI 計算對高帶寬的迫切需求，同時也降低了 DRAM 層間距，使得 HBM 模塊的整體高度得到縮減。

混合鍵合技術的成熟度和應用成本一直是業(yè)界關注的焦點。為了解決這一問題，三星電子在 HBM4 內存鍵合技術方面采取了多元化的策略。除了積極推進混合鍵合技術的研究與應用，三星電子還同步開發(fā)傳統(tǒng)的 TC-NCF 工藝，以實現(xiàn)技術多樣化，降低風險，并提升整體競爭力。

從技術上看，TC-NCF 是一種與 MR-MUF 略有不同的技術。在每次堆疊芯片時，都會在各層之間放置一層不導電的粘合膜。該薄膜是一種聚合物材料，用于使芯片彼此絕緣并保護連接點免受撞擊。這種方法的優(yōu)點是可以最大限度地減少隨著層數(shù)增加和芯片厚度減小而可能發(fā)生的翹曲，使其更適合構建更高的堆棧。

據(jù)悉，SK 海力士在第二代 HBM 之前也使用 NCF，但從第三代（HBM2E）開始改用 MUF（特別是 MR-MUF）。業(yè)內人士認為 MUF 是 SK 海力士能夠在 HBM 市場脫穎而出的原因。也正因此不少人士對三星的技術路線保持懷疑。

不過，三星副總裁 Kim Dae-woo 表示，在最多 8 個堆疊時，MR-MUF 的生產(chǎn)效率比 TC-NCF 更高，但一旦堆疊達到 12 個或以上，后者將具有更多優(yōu)勢。該副總裁還指出，當 HBM4 推出時，定制請求預計會增加。

美光：HBMnext 或出奇招

在 HBM 芯片上，美光科技也加快了追趕兩家韓國存儲巨頭的步伐。不過在技術細節(jié)上，美光并未公布太多信息。

關于未來的布局，美光披露了暫名為 HBMnext 的下一代 HBM 內存，業(yè)界猜測這有可能便是其 HBM 4。美光預計 HBMNext 將提供 36 GB 和 64 GB 容量，這意味著多種配置，例如 12-Hi 24 Gb 堆棧 (36 GB) 或 16-Hi 32 Gb 堆棧 (64 GB)。至于性能，美光宣稱每個堆棧的帶寬為 1.5 TB/s–2+TB/s，這意味著數(shù)據(jù)傳輸速率超過 11.5 GT/s/pin。

與三星和 SK 海力士不同，美光似乎并不打算把 HBM 和邏輯芯片整合到一個芯片中，在下一代 HBM 產(chǎn)品發(fā)展上，美光或許想要通過 HBM-GPU 的組合芯片形式以獲得更快的內存訪問速度。不過美媒表示，隨著機器學習訓練模型的增大和訓練時間的延長，通過加快內存訪問速度和提高每個 GPU 內存容量來縮短運行時間的壓力也將隨之增加，而為了獲得鎖定 HBM-GPU 組合芯片設計（盡管具有更好的速度和容量）而放棄標準化 DRAM 的競爭供應優(yōu)勢，可能不是正確的前進方式。

三大原廠的 HBM4 量產(chǎn)時間

關于量產(chǎn)時間，SK 海力士在 5 月舉行的記者招待會上表示，其 HBM4 內存的量產(chǎn)時間已提前到 2025 年。具體來說，SK 海力士計劃在 2025 年下半年推出采用 12 層 DRAM 堆疊的首批 HBM4 產(chǎn)品，而 16 層堆疊 HBM 稍晚于 2026 年推出。

據(jù)三星的規(guī)劃，HBM 4 將在 2025 年生產(chǎn)樣品，2026 年量產(chǎn)。美光預計將在 2026 年推出 12 和 16 層堆疊的 HBM4，帶寬超過 1.5TB/ s；到 2027~2028 年，還將發(fā)布 12 層和 16 層堆疊的 HBM4E，帶寬可達 2TB/s 以上。

如果按照當前各家的計劃推進，那么 SK 海力士將先人一步。

臺積電也在為 HBM4 蓄力

除此之外，臺積電也在積極開發(fā)與優(yōu)化其封裝技術，以支持 HBM4 的集成。

在今年 4 月的北美技術研討會上，臺積電推出了下一代晶圓系統(tǒng)平臺——CoW-SoW——該平臺將實現(xiàn)與晶圓級設計的 3D 集成。該技術建立在臺積電 2020 年推出的 InFO_SoW 晶圓級系統(tǒng)集成技術的基礎上，該技術使其能夠構建晶圓級邏輯處理器。
據(jù)了解，臺積電的 CoW-SoW 專注于將晶圓級處理器與 HBM4 內存集成。下一代內存堆棧將采用 2048 位接口，這使得將 HBM4 直接集成在邏輯芯片頂部成為可能。同時，在晶圓級處理器上堆疊額外的邏輯以優(yōu)化成本也可能是有意義的。

隨后在 5 月中旬的 2024 年歐洲技術研討會上，臺積電表示，將使用其 12FFC+（12nm 級）和 N5（5nm 級）制程工藝制造 HBM4 芯片。

臺積電設計與技術平臺高級總監(jiān)表示：「我們正在與主要的 HBM 內存合作伙伴（美光、三星、SK 海力士）合作，開發(fā) HBM4 全棧集成的先進制程，N5 制程可以使 HBM4 以更低的功耗提供更多的邏輯功能?！?/span>

N5 制程允許將更多的邏輯功能封裝到 HBM4 中，并實現(xiàn)非常精細的互連間距，這對于邏輯芯片上的直接鍵合至關重要，可以提高 AI 和 HPC 處理器的內存性能。

相對于 N5，臺積電的 12FFC+工藝（源自該公司的 16nm FinFET 技術）更加經(jīng)濟，制造的基礎芯片能構建 12 層和 16 層的 HBM4 內存堆棧，分別提供 48GB 和 64GB 的容量。

臺積電還在優(yōu)化封裝技術，特別是 CoWoS-L 和 CoWoS-R，以支持 HBM4 集成。這些先進的封裝技術有助于組裝多達 12 層的 HBM4 內存堆棧。新的轉接板能確保 2000 多個互連的高效路由，同時保持信號完整性。據(jù)臺積電介紹，到目前為止，實驗性 HBM4 內存在 14mA 時的數(shù)據(jù)傳輸速率已達到 6 GT/s。

臺積電還在與 Cadence、Synopsys 和 Ansys 等 EDA 公司合作，對 HBM4 通道信號完整性、IR/EM 和熱精度進行認證。

那么，關于 HBM4 未來的研發(fā)進度，我們是否應擔憂它會侵占 HBM3 的產(chǎn)能呢？畢竟，HBM3 當前的產(chǎn)能狀況已經(jīng)相當緊張。

HBM4 是否會擠壓 HBM3 的產(chǎn)能？

眾所周知，HBM3 市場的主要競爭者也只有 SK 海力士、三星和美光三大家。

各家 HBM3 系列產(chǎn)品量產(chǎn)進度

據(jù)悉，美光、SK 海力士和三星先后在去年 7 月底、8 月中旬、以及 10 月初向英偉達提供了 8 層垂直堆疊的 HBM3E（24GB）樣品。其中美光和 SK 海力士的 HBM3E 在今年初已通過英偉達的驗證，并獲得了訂單。

今年 3 月 SK 海力士宣布，公司將超高性能用于 AI 的存儲器新產(chǎn)品 HBM3E 率先成功量產(chǎn)，從 3 月末開始向客戶供貨。美光也宣布已開始批量生產(chǎn)其 HBM3E 解決方案，其首款 24GB 8H HBM3E 產(chǎn)品將會用于 NVIDIA H200 GPU，將于 2024 年第二季度開始發(fā)貨。

不過近日，據(jù) DigiTimes 報道，三星 HBM3E 尚未通過英偉達的測試，仍需要進一步驗證。據(jù)了解，三星至今未能通過英偉達驗證主要卡在臺積電的審批環(huán)節(jié)。作為英偉達數(shù)據(jù)中心 GPU 的制造和封裝廠，臺積電也是英偉達驗證環(huán)節(jié)的重要參與者，傳聞采用的是基于 SK 海力士 HBM3E 產(chǎn)品設定的檢測標準，而三星的 HBM3E 產(chǎn)品在制造工藝上有些許差異，比如 SK 海力士采用了 MR-RUF 技術，三星則是 TC-NCF 技術，這多少會對一些參數(shù)有所影響。

不過，5 月 24 日，三星否認了有關其高帶寬內存芯片尚未通過英偉達的測試以用于這家美國芯片巨頭的人工智能處理器的報道。

三星表示，其與全球各合作伙伴的 HBM 供應測試正在「順利」進展。

三星在上個月發(fā)布的 2024 年第一季度財報中表示，8 層垂直堆疊的 HBM3E 已經(jīng)在 4 月量產(chǎn)，并計劃在第二季度內量產(chǎn) 12 層垂直堆疊的 HBM3E，比原計劃里的下半年提前了。按照三星的說法，這是為了更好地應對生成式 AI 日益增長的需求，所以選擇加快了新款 HBM 產(chǎn)品的項目進度。

HBM 的供應緊張局面，主要是來自于英偉達、AMD 等芯片巨頭對于 HPC 和 GPU 的強勁需求。在此背景下，各大存儲龍頭紛紛掏出重金推進 HBM 擴產(chǎn)計劃。

擴產(chǎn)動作頻頻

SK 海力士在今年 4 月宣布，計劃擴大包括 HBM 在內的下一代 DRAM 的產(chǎn)能，以應對快速增長的 AI 需求。公司將投資約 5.3 萬億韓元（約 279.84 億人民幣）建設 M15X 晶圓廠，作為新的 DRAM 生產(chǎn)基地。該公司計劃于 4 月底開工建設，目標于 2025 年 11 月竣工并盡早量產(chǎn)。隨著設備投資計劃逐步增加，新生產(chǎn)基地建設總投資長期將超過 20 萬億韓元。

值得注意的是，在此前的一次電話會議中，SK 海力士表示，將擴大 HBE 生產(chǎn)設施投資，對通過硅通孔（TSV）相關的設施投資將比 2023 年增加一倍以上，力圖將產(chǎn)能翻倍。

近日，SK 海力士產(chǎn)量主管 Kwon Jae-soon 表示，該企業(yè)的 HBM3E 內存良率已接近 80%。此外，Kwon Jae-soon 也提到，SK 海力士目前已將 HBM3E 的生產(chǎn)周期減少了 50%。更短的生產(chǎn)用時意味著更高的生產(chǎn)效率，可為英偉達等下游客戶提供更充足的供應。這位高管再次確認 SK 海力士今年的主要重點是生產(chǎn) 8 層堆疊的 HBM3E，因為該規(guī)格目前是客戶需求的核心。

三星執(zhí)行副總裁兼 DRAM 產(chǎn)品與技術部負責人 Hwang Sang-joong 在加州圣何塞舉行的「Memcon 2024」會議上透露了三星的產(chǎn)能擴增計劃。Hwang 表示，三星預計今年的 HBM 芯片產(chǎn)量將比去年增長 2.9 倍，這一數(shù)字甚至高于三星早些時候在 CES 2024 上所預測的 2.4 倍的增長。此外，三星還公布了其 HBM 技術藍圖，預測到 2026 年，其 HBM 的出貨量將比 2023 年高出 13.8 倍，而到了 2028 年，這一數(shù)字將進一步攀升至 2023 年的 23.1 倍
為了滿足 HBM 領域的旺盛需求，美光也小幅上調了本財年的資本支出預算，由原計劃的 75~80 億美元調整為 80 億美元。美光預計，未來幾年內，其 HBM 內存位元產(chǎn)能的年均增長率將達到 50%。

產(chǎn)能何時開出？HBM4 是否沖突 HBM3？

觀察發(fā)現(xiàn)，存儲三巨頭的新一代 HBM4 的推出時間預計最早將落在 2025 年下半年，而全面步入批量生產(chǎn)的步伐可能需等待至 2026 年。再細觀各家新產(chǎn)能的籌備情況，SK 海力士的新工廠預計將在 2025 年 11 月竣工，若竣工后立即投入生產(chǎn)，新產(chǎn)能的啟動亦將緊隨其后，預計在 2025 年底。

三星預測，到 2026 年，其 HBM 的出貨量將較 2023 年激增 13.8 倍。而美光科技雖在行動上稍顯穩(wěn)健，但從前兩家公司的產(chǎn)能擴展態(tài)勢來看，屆時 HBM 的產(chǎn)能緊張問題或許已得到緩解，HBM4 的量產(chǎn)時機與新產(chǎn)能的啟動有望相互呼應。

然而，考慮到新產(chǎn)品上市所需的適配周期和良率提升過程，以及部分訂單從 HBM3 向 HBM4 的遷移，HBM4 的推進在短期內對 HBM3 的市場影響或許不會過于顯著。