HBM解決了傳統 GDDR 遇到的「記憶體墻」問題，采用了存算一體的近存計算架構，不透過外部連線的方式與 GPU/CPU/Soc 連線，而是透過中間介質層緊湊快速地連線訊號處理器芯片，極大的節省了數據傳輸所使用的時間與耗能。
而在空間占用上，HBM 采用的堆疊技術會使得在空間占用要比同比傳統 GDDR 節省 94%。在應對目前雲端 AI 的多使用者，高吞吐，低延遲，高密度部署需求所帶來的計算單位需求，I/O 數量也需要不斷突破滿足計算單位的需求。使用 GDDR 所適配的 PCB 技術並不能突破 I/O 數量瓶頸，而 HBM 的TSV 技術帶來的記憶體整合度極大提升，使得頻寬不再受制於芯片引腳的互聯數量，在一定程度上解決了 I/O 瓶頸，成為高算力芯片的首選。
NVIDIA 和 AMD 依靠 HBM 持續提升 GPU 效能
HBM 新型記憶體較傳統 GDDR 具有更高的頻寬，更低的延遲和更好的等效比。隨著 AI 對算力的高要求，高頻寬記憶體顯然是高效能 GPU 的最佳搭配，AMD 和 NVIDIA 兩家尖端的 GPU都陸續配備了 HBM。
NVIDIA 已在搭載 HBM 的 GPU 型號上叠代 5 次，效能也在不斷跟進以適配 AI 模型與訓練的需求。在 7 年時間內，從 V100 架構時代搭載的 HBM2 已經演化到了 GB200 的 HBM3E，而記憶體寬頻與容量則是在這幾年內翻了數倍。
以同一 Hopper 架構下的 H100 SXM 和 H200 SXM為例，在其他硬體條件與介面協定相同的情況下，搭載了 HBM3E 的 H200 SXM 要比搭載了HBM3 的 H100 SXM 在頻寬速率上提升了 43%，在容量上也是擴增了 76%。而對比落後了一整代，搭載了 HBM 2E 的 A100 SXM，頻寬速率更是提高了 141%，所有的這一切提升都是HBM 效能叠代帶來的優勢。
歸因於 AI 大模型的逐步叠代，GPU 叠代速度加快。核心供應商 NVIDIA 和 AMD 新品效能競爭，預計 2025 年加速 HBM 規格需求大幅轉向 HBM3e，且將會有更多 12hi 的產品出現，帶動單芯片搭載 HBM 的容量提升。根據 TrendForce 集邦咨詢預估，2024 年的 HBM 需求位元年成長率近 200%，2025 年可望將再翻倍。
SK 海麗仕持續領先，三星和美光加緊追趕
自 2014 年首款矽穿孔 HBM 產品釋出至今，HBM 技術已經發展至第五代，分別是：HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代），HBM代際升級主要體現在數據速率和容量密度上，HBM 芯片容量從 1GB 升級至 24GB，頻寬從 128GB/s提升至 1.2TB/s，數據傳輸速率從 1Gbps 提高至 9.2Gbps。
從競爭格局來看，HBM 領域的主要供應商仍是記憶體三大巨頭 SK 海麗仕、三星以及美光，為應對全球 GPU 需求持續高增長的趨勢。根據 Trendforce 數據，預計 2024 年 SK 海麗仕在 HBM 市場中的市占率預計為 47-49%，三星電子的市占率為 47-49%、美光的市占率為 3-5%。
1）HBM3 及以前產品，海麗仕穩居行業龍頭，三星和美光跨越式追趕
SK 海麗仕在 2022 年率先三星推出了 HBM3，並與 NVIDIA 實行了強繫結，在 2022-2023 年NVIDIA 的主攻 H100 的記憶體解決方案為 SK 海麗仕的 HBM3，導致 SK 海麗仕目前於 HBM3的占比愈 9 成。在 23 年下半年，SK 海麗仕向 NVIDIA 送去了 8Hi 24GB HBM3E 以供驗證。
三星推出了首代 HBM 產品HBM2。並在 2019 年量產 HBM2E，但在 HBM3 的賽道上，因在 2019 年錯判低估 HBM 市場成長率，解散了 HBM 小組，導致在研發力度上三星落後於海麗仕，在 2023 年下半年才進行了 HBM3 的量產計劃，直到 2024 年才陸續透過 AMD MI300系列驗證，因此有望 2024Q1 後才能逐漸放量 HBM3 產品。而在 HBM3E 上，三星仍不敵海麗仕，在 2023 年下半年送去的 12Hi 36GB HBM3E，仍未等到 NVIDIA 的技術驗證透過，推測可能是 TC-NCF 技術 HBM 良率同比 SK 海麗仕較低所致。這一技術代差在 HBM3 就得以體現，SK 海麗仕的良率在 60-70%左右，而三星只在 10-20%左右。
由於美光在前期因為技術誤判在 HMC 技術上投入過多資金，直到 2018 年才從 HMC 轉向 HBM方向。因此，不想錯過末班車的美光跳過了 HBM2，直接於 2020 年進行了 HBM2E 的量產，以後起之秀的身份進入了市場，隨即加速邁過 HBM3 直接在 2023 年進行了 HBM3E 的研發，並在 2024 年 2 月份宣布開始量產 HBM3E，並套用在 SK 海麗仕的長期合作廠商 NVIDIA 的H200 芯片上，將在今年第二季度為 NVIDIA 供應 HBM3E 8Hi 24GB 的芯片，而 HBM3E 12Hi 36GB則已經在樣本階段了，這兩種型號的頻寬將超過 1.2TB/s。
2）三家爭相送樣 HBM3E
為了更妥善且健全的供應鏈管理，NVIDIA 也規劃加入更多的 HBM供應商，其中三星（Samsung）的 HBM3（24GB）已於 23 年 12 月在 NVIDIA 完成驗證。而HBM3e 進度依據時間軸排列如下表所示，美光（Micron）已於 23 年 7 月底提供 8hi（24GB）NVIDIA 樣品、SK 海麗仕（SK hynix）已於 23 年 8 月中提供 8hi（24GB）樣品、三星則於23 年 10 月初提供 8hi（24GB）樣品。
3）在角逐 HBM3E 的同時，三大儲存原廠已經開始排布下一代儲存產品 HBM4
目前，SK 海麗仕已宣布研發 HBM4，並與台積電就 HBM4 研發和下一代封裝技術合作簽署諒解備忘錄，計劃從 2026 年開始批次生產 HBM 第六代產品——HBM4。SK 海麗仕有望采用台積電的先進邏輯工藝來提高 HBM4 的效能，針對搭載於 HBM 封裝內最底層的基礎裸片進行最佳化。台積電此前也表示，將采用 N5 和 N12FFC+工藝制造基礎裸片，為 HBM4 提供更強的效能和能源效率。
在 HBM4 研發上，三星和美光也加緊追趕。盡管 SK 海麗仕目前穩居 HBM 市場龍頭，但三星正加速追趕 SK 海麗仕。
預計 2024 年 HBM 產值將翻 4 倍，達到 169 億美元
由於 HBM 售價高昂、獲利高，進而導致較大資本開支，市場一般從產值和產能兩個角度關註 HBM 的成長空間。根據集邦咨詢數據，截至 2023 年底，行業內整體 DRAM 產業規劃生產HBM TSV 的產能約為 250K/m，占總 DRAM 產能（約 1,800K/m）約 14%，供給位元年成長約260%。這主要歸因於：
1）HBM 較常規 DRAM 面積較大、產線良率低。以 HBM 及 DDR5 生產差異來看，其 Die Size較 DDR5 同制程與同容量（例如 24Gb 對比 24Gb）尺寸大 35-45%；良率（包含 TSV 封裝良率）則比起 DDR5 低約 20-30%。
2）HBM 生產周期更長，鎖單較早，三大原廠加大產能規劃。HBM 生產周期較 DDR5 更長，從投片到產出與封裝完成需要兩個季度以上，生產周期（包含 TSV）較 DDR5 多 1.5-2 個月不等上。
集邦咨詢數據顯示，2023 年 HBM 產值占 DRAM 整體產業約 8.4%，市場規模約 43.56 億美元；預估至 2024 年底將達 169.14 億美元，占 DRAM 整體產值約 20.1%。
相關閱讀：
更新提醒：「 」和「 」已經更新釋出，還沒有獲取的讀者，請在點選「原文連結」在微店留言獲取 （ PDF閱讀版本 ）。
轉載申明：轉載 本號文章請 註明作者 和 來源 ，本號釋出文章若存在版權等問題，請留言聯系處理，謝謝。
推薦閱讀
更多 架構相關技術 知識總結請參考「 架構師全店鋪技術資料打包 (全) 」相關電子書( 41本 技術資料打包匯總詳情 可透過「 閱讀原文 」獲取)。
全店內容持續更新，現下單「 架構師技術全店資料打包匯總(全) 」一起發送「 」 和「 」 pdf及ppt版本 ，後續可享 全店 內容更新「 免費 」贈閱，價格僅收 249 元(原總價 439 元)。
溫馨提示：
掃描 二維碼 關註公眾號，點選 閱讀原文 連結 獲取 「 架構師技術全店資料打包匯總(全) 」 電子書資料詳情 。
