半導(dǎo)體業(yè)內(nèi)人士7月3日報道稱，繼英偉達之后，全球各大科技巨頭已陸續(xù)向SK海力士索取第五代高帶寬內(nèi)存HBM3E樣品。該名單包括 AMD、微軟和亞馬遜。實際上，SK海力士預(yù)計到2024年上半年才能實現(xiàn)量產(chǎn)。

HBM（High Bandwidth Memory，高帶寬內(nèi)存），是由 AMD 和 SK海力士發(fā)起的基于3D堆棧工藝的高性能 DRAM，是一款新型的CPU/GPU 內(nèi)存芯片，它是將很多個DDR芯片堆疊在一起后和GPU封裝在一起，實現(xiàn)大容量、高帶寬的DDR組合陣列。從技術(shù)角度看，HBM使DRAM從傳統(tǒng)2D轉(zhuǎn)變?yōu)榱Ⅲw3D，充分利用空間、縮小面積，契合半導(dǎo)體行業(yè)小型化、集成化的發(fā)展趨勢。

HBM借助硅通孔技術(shù)TSV實現(xiàn)多個 DRAM 之間的垂直連通堆疊，達到縮減體積、降低能耗的目的：

HBM突破了內(nèi)存容量與帶寬瓶頸，可以為 GPU 提供更快的并行數(shù)據(jù)處理速度，打破“內(nèi)存墻”對算力提升的桎梏，被視為 GPU 存儲單元理想解決方案，將在 AI發(fā)展中持續(xù)收益。通過增加帶寬，擴展內(nèi)存容量，讓更大的模型，更多的參數(shù)留在離核心計算更近的地方，從而減少內(nèi)存和存儲解決方案帶來的延遲。

大模型、人工智能、機器學(xué)習(xí)、高性能計算、數(shù)據(jù)中心等應(yīng)用市場興起，推動著高帶寬內(nèi)存HBM更新迭代。自2014年首款硅通孔HBM產(chǎn)品問世至今，HBM技術(shù)已經(jīng)發(fā)展至第五代，分別是：HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）和最新的HBM3E（第五代）。

HBM芯片容量從1GB升級至24GB，帶寬從128GB/s提升至1075GB/s，數(shù)據(jù)傳輸速率也從1Gbps提高至8.4Gbps。在高性能服務(wù)器領(lǐng)域，HBM已經(jīng)成為了高端GPU的標配。

比如，Nvidia 的 H100 采用 CoWoS-S 上的7-die封裝。中間是H100 GPU ASIC，其芯片尺寸為814mm2 ，周圍是 6 個內(nèi)存堆棧HBM。不同 SKU 之間的 HBM 配置有所不同，但 H100 SXM 版本使用 HBM3，每個堆棧為 16GB，總內(nèi)存為 80GB。H100 NVL 將具有兩個封裝，每個封裝上有 6 個活躍的 HBM 堆棧。

（二）HBM市場三分天下

目前，HBM市場只有3家企業(yè)，全球55%的HBM出貨來自SK海力士（SK Hynix），35%來自三星電子（Samsung），美光科技（Micron Technology）占10%。

SK海力士約40%的營業(yè)利潤來自HBM。如，英偉達高性能GPU A100和H100的顯存模塊并沒有采用常用的DDR/GDDR內(nèi)存，而是SK海力士的HBM3內(nèi)存；全球排名第一的服務(wù)器CPU公司英特爾在全新的第四代至強可擴展處理器當中也推出了配備SK海力士HBM的產(chǎn)品。

三星于2022年實現(xiàn)HBM3量產(chǎn)，其單芯片接口寬度可達1024 bit，接口傳輸速率可達6.4 Gbps，單芯片接口帶寬達819 GB/s。三星HBM3正式向英偉達和AMD供貨，HBM3在三星電子整體DRAM銷售額中所占比重或?qū)慕衲甑?%擴大至明年的18%。在三星公布的路線圖上，2024年預(yù)計將實現(xiàn)接口速度高達7.2 Gbps、堆疊總帶寬提升到5 TB/s以上的HBM3p。

三星DRAM內(nèi)存路線圖：

美光科技相比明顯較落后，于2020年7月才宣布大規(guī)模量產(chǎn)HBM2E，HBM3仍在持續(xù)研發(fā)之中。之前，美光科技在混合存儲立方體 (HMC) 技術(shù)上投入更多資金，這是與 HBM 競爭的技術(shù)。然而，HMC周圍的生態(tài)系統(tǒng)是封閉的，導(dǎo)致圍繞HMC的IP很難開發(fā)。直到 2018 年，美光才開始從 HMC 轉(zhuǎn)向HBM。這就是美光落后的原因。不過，在最近的財報電話會議中，美光對其 HBM 路線圖做出了非常樂觀的預(yù)期：他們相信，他們將在 2024 年憑借 HBM3E 從落后者變?yōu)轭I(lǐng)先者；HBM3E 預(yù)計將在2024 年第三季度/第四季度開始為英偉達的下一代 GPU 發(fā)貨。

（三）HBM逆勢增長

過去幾年，受智能手機、PC等消費電子市場疲軟影響，包括 NAND 和 DRAM 在內(nèi)的內(nèi)存市場都遭受重創(chuàng)，自 21 年第三季度以來，DRAM 價格已下跌 57%，而同期 NAND 價格已下跌 55%。DRAM行業(yè)在2023年第1季度經(jīng)歷了自2012年以來的首次運營虧損，利潤率從 2022 年第 4 季度的 9% 降至 23 年第 1 季度的-16%，因為23 年第 1 季度的出貨量比預(yù)期低了13%。供應(yīng)商在23 年第一季度繼續(xù)增加庫存，目前庫存超過 13 周。

內(nèi)存（DRAM和NAND）價格同比增長率走勢圖及預(yù)測：

而且，一般來說像HBM3這樣的顯存由于需求量不是很大，因此價格不會出現(xiàn)大波動，當然供應(yīng)量也不高，畢竟制造成本高昂，產(chǎn)能也有限，基本上是供需平衡，然而今年由于ChatGPT的火爆，導(dǎo)致NVIDIA的GPU供不應(yīng)求，使得HBM3顯存出現(xiàn)了嚴重短缺的情況，由此導(dǎo)致三星以及海力士作為HBM3顯存的供應(yīng)報價飆升了5倍。

據(jù)市場調(diào)研公司預(yù)測，未來4年AI服務(wù)器出貨量年化增速高達61%，2026年預(yù)計達90萬臺。

由于AI服務(wù)器需要配置更多DRAM、HBM等大容量存儲以應(yīng)對日益復(fù)雜的AI大模型所帶來的海量數(shù)據(jù)。數(shù)據(jù)顯示，普通服務(wù)器DRAM容量約為500~600GB，而AI服務(wù)器DRAM容量可達1.2~1.7TB；數(shù)據(jù)處理量和傳輸速率的大幅提升對帶寬提出更高的要求，HBM成為AI服務(wù)器標配，單臺AI服務(wù)器HBM用量達到320~640GB。目前HBM占DRAM約2%-3%，預(yù)計三年后將翻倍。

集邦咨詢預(yù)測，從今年到2025年，HBM市場預(yù)計將以年均45%或以上的速度增長，與人工智能市場的增長同步。而據(jù)semiconductor-digest預(yù)測，到 2031年，全球高帶寬存儲器HBM市場預(yù)計將從 2022 年的 2.93億美元增長到34.34億美元，在2023-2031年的預(yù)測期內(nèi)復(fù)合年增長率為31.3%。