半導(dǎo)體業(yè)內(nèi)人士7月3日?qǐng)?bào)道稱，繼英偉達(dá)之后，全球各大科技巨頭已陸續(xù)向SK海力士索取第五代高帶寬內(nèi)存HBM3E樣品。該名單包括 AMD、微軟和亞馬遜。實(shí)際上，SK海力士預(yù)計(jì)到2024年上半年才能實(shí)現(xiàn)量產(chǎn)。

HBM（High Bandwidth Memory，高帶寬內(nèi)存），是由 AMD 和 SK海力士發(fā)起的基于3D堆棧工藝的高性能 DRAM，是一款新型的CPU/GPU 內(nèi)存芯片，它是將很多個(gè)DDR芯片堆疊在一起后和GPU封裝在一起，實(shí)現(xiàn)大容量、高帶寬的DDR組合陣列。從技術(shù)角度看，HBM使DRAM從傳統(tǒng)2D轉(zhuǎn)變?yōu)榱Ⅲw3D，充分利用空間、縮小面積，契合半導(dǎo)體行業(yè)小型化、集成化的發(fā)展趨勢(shì)。

HBM借助硅通孔技術(shù)TSV實(shí)現(xiàn)多個(gè) DRAM 之間的垂直連通堆疊，達(dá)到縮減體積、降低能耗的目的：

HBM突破了內(nèi)存容量與帶寬瓶頸，可以為 GPU 提供更快的并行數(shù)據(jù)處理速度，打破“內(nèi)存墻”對(duì)算力提升的桎梏，被視為 GPU 存儲(chǔ)單元理想解決方案，將在 AI發(fā)展中持續(xù)收益。通過增加帶寬，擴(kuò)展內(nèi)存容量，讓更大的模型，更多的參數(shù)留在離核心計(jì)算更近的地方，從而減少內(nèi)存和存儲(chǔ)解決方案帶來的延遲。

大模型、人工智能、機(jī)器學(xué)習(xí)、高性能計(jì)算、數(shù)據(jù)中心等應(yīng)用市場(chǎng)興起，推動(dòng)著高帶寬內(nèi)存HBM更新迭代。自2014年首款硅通孔HBM產(chǎn)品問世至今，HBM技術(shù)已經(jīng)發(fā)展至第五代，分別是：HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）和最新的HBM3E（第五代）。

HBM芯片容量從1GB升級(jí)至24GB，帶寬從128GB/s提升至1075GB/s，數(shù)據(jù)傳輸速率也從1Gbps提高至8.4Gbps。在高性能服務(wù)器領(lǐng)域，HBM已經(jīng)成為了高端GPU的標(biāo)配。

比如，Nvidia 的 H100 采用 CoWoS-S 上的7-die封裝。中間是H100 GPU ASIC，其芯片尺寸為814mm2 ，周圍是 6 個(gè)內(nèi)存堆棧HBM。不同 SKU 之間的 HBM 配置有所不同，但 H100 SXM 版本使用 HBM3，每個(gè)堆棧為 16GB，總內(nèi)存為 80GB。H100 NVL 將具有兩個(gè)封裝，每個(gè)封裝上有 6 個(gè)活躍的 HBM 堆棧。

（二）HBM市場(chǎng)三分天下

目前，HBM市場(chǎng)只有3家企業(yè)，全球55%的HBM出貨來自SK海力士（SK Hynix），35%來自三星電子（Samsung），美光科技（Micron Technology）占10%。

SK海力士約40%的營業(yè)利潤來自HBM。如，英偉達(dá)高性能GPU A100和H100的顯存模塊并沒有采用常用的DDR/GDDR內(nèi)存，而是SK海力士的HBM3內(nèi)存；全球排名第一的服務(wù)器CPU公司英特爾在全新的第四代至強(qiáng)可擴(kuò)展處理器當(dāng)中也推出了配備SK海力士HBM的產(chǎn)品。

三星于2022年實(shí)現(xiàn)HBM3量產(chǎn)，其單芯片接口寬度可達(dá)1024 bit，接口傳輸速率可達(dá)6.4 Gbps，單芯片接口帶寬達(dá)819 GB/s。三星HBM3正式向英偉達(dá)和AMD供貨，HBM3在三星電子整體DRAM銷售額中所占比重或?qū)慕衲甑?%擴(kuò)大至明年的18%。在三星公布的路線圖上，2024年預(yù)計(jì)將實(shí)現(xiàn)接口速度高達(dá)7.2 Gbps、堆疊總帶寬提升到5 TB/s以上的HBM3p。

三星DRAM內(nèi)存路線圖：

美光科技相比明顯較落后，于2020年7月才宣布大規(guī)模量產(chǎn)HBM2E，HBM3仍在持續(xù)研發(fā)之中。之前，美光科技在混合存儲(chǔ)立方體 (HMC) 技術(shù)上投入更多資金，這是與 HBM 競(jìng)爭(zhēng)的技術(shù)。然而，HMC周圍的生態(tài)系統(tǒng)是封閉的，導(dǎo)致圍繞HMC的IP很難開發(fā)。直到 2018 年，美光才開始從 HMC 轉(zhuǎn)向HBM。這就是美光落后的原因。不過，在最近的財(cái)報(bào)電話會(huì)議中，美光對(duì)其 HBM 路線圖做出了非常樂觀的預(yù)期：他們相信，他們將在 2024 年憑借 HBM3E 從落后者變?yōu)轭I(lǐng)先者；HBM3E 預(yù)計(jì)將在2024 年第三季度/第四季度開始為英偉達(dá)的下一代 GPU 發(fā)貨。

（三）HBM逆勢(shì)增長

過去幾年，受智能手機(jī)、PC等消費(fèi)電子市場(chǎng)疲軟影響，包括 NAND 和 DRAM 在內(nèi)的內(nèi)存市場(chǎng)都遭受重創(chuàng)，自 21 年第三季度以來，DRAM 價(jià)格已下跌 57%，而同期 NAND 價(jià)格已下跌 55%。DRAM行業(yè)在2023年第1季度經(jīng)歷了自2012年以來的首次運(yùn)營虧損，利潤率從 2022 年第 4 季度的 9% 降至 23 年第 1 季度的-16%，因?yàn)?3 年第 1 季度的出貨量比預(yù)期低了13%。供應(yīng)商在23 年第一季度繼續(xù)增加庫存，目前庫存超過 13 周。

內(nèi)存（DRAM和NAND）價(jià)格同比增長率走勢(shì)圖及預(yù)測(cè)：

而且，一般來說像HBM3這樣的顯存由于需求量不是很大，因此價(jià)格不會(huì)出現(xiàn)大波動(dòng)，當(dāng)然供應(yīng)量也不高，畢竟制造成本高昂，產(chǎn)能也有限，基本上是供需平衡，然而今年由于ChatGPT的火爆，導(dǎo)致NVIDIA的GPU供不應(yīng)求，使得HBM3顯存出現(xiàn)了嚴(yán)重短缺的情況，由此導(dǎo)致三星以及海力士作為HBM3顯存的供應(yīng)報(bào)價(jià)飆升了5倍。

據(jù)市場(chǎng)調(diào)研公司預(yù)測(cè)，未來4年AI服務(wù)器出貨量年化增速高達(dá)61%，2026年預(yù)計(jì)達(dá)90萬臺(tái)。

由于AI服務(wù)器需要配置更多DRAM、HBM等大容量存儲(chǔ)以應(yīng)對(duì)日益復(fù)雜的AI大模型所帶來的海量數(shù)據(jù)。數(shù)據(jù)顯示，普通服務(wù)器DRAM容量約為500~600GB，而AI服務(wù)器DRAM容量可達(dá)1.2~1.7TB；數(shù)據(jù)處理量和傳輸速率的大幅提升對(duì)帶寬提出更高的要求，HBM成為AI服務(wù)器標(biāo)配，單臺(tái)AI服務(wù)器HBM用量達(dá)到320~640GB。目前HBM占DRAM約2%-3%，預(yù)計(jì)三年后將翻倍。

集邦咨詢預(yù)測(cè)，從今年到2025年，HBM市場(chǎng)預(yù)計(jì)將以年均45%或以上的速度增長，與人工智能市場(chǎng)的增長同步。而據(jù)semiconductor-digest預(yù)測(cè)，到 2031年，全球高帶寬存儲(chǔ)器HBM市場(chǎng)預(yù)計(jì)將從 2022 年的 2.93億美元增長到34.34億美元，在2023-2031年的預(yù)測(cè)期內(nèi)復(fù)合年增長率為31.3%。