HBM即高頻寬儲存，由多層DRAM Die垂直堆疊，每層Die透過TSV穿透矽通孔技術實作與邏輯Die連線，使得8層、12層Die封裝於小體積空間中，從而實作小尺寸於高頻寬、高傳輸速度的相容，成為高效能AI伺服器GPU視訊記憶體的主流解決方案。
目前叠代至HBM3的擴充套件版本HBM3E，提供高達8Gbps的傳輸速度和16GB記憶體，由SK海麗仕率先釋出，將於2024年量。
HBM主要套用場景為AI伺服器，最新一代HBM3e搭載於輝達2023年釋出的H200。根據Trendforce數據，2022年AI伺服器出貨量86萬台，預計2026年AI伺服器出貨量將超過200萬台，年復合增速29%。
AI伺服器出貨量增長催化HBM需求爆發，且伴隨伺服器平均HBM容量增加，經測算，預期25年市場規模約150億美元，增速超過50%。
HBM供給廠商主要聚集在SK海麗仕、三星、美光三大儲存原廠，根據Trendforce數據，2023年SK海麗仕市占率預計為53%，三星市占率38%、美光市占率9%。HBM在工藝上的變化主要在CoWoS和TSV。
相關閱讀：
HBM1最早於2014年由AMD與SK海麗仕共同推出，作為GDDR競品，為4層die堆疊，提供128GB/s頻寬，4GB記憶體，顯著優於同期GDDR5。
HBM2於2016年釋出，2018年正式推出，為4層DRAMdie，現在多為8層die，提供256GB/s頻寬，2.4Gbps傳輸速度，和8GB記憶體；HBM2E於2018年釋出，於2020年正式提出，在傳輸速度和記憶體等方面均有較大提升，提供3.6Gbps傳輸速度，和16GB記憶體。HBM3於2020年釋出，2022年正式推出，堆疊層數及管理通道數均有增加，提供6.4Gbps傳輸速度，傳輸速度最高可達819GB/s，和16GB記憶體HBM3E由SK海麗仕釋出HBM3的增強版，提供高達8Gbps的傳輸速度，24GB容量，計劃於2024年大規模量產。
HBM因其高頻寬、低功耗、小體積等特性，廣泛套用於AI伺服器場景中。HBM的套用主要集中在高效能伺服器，最早落地於2016年的NVP100GPU（HBM2）中，後於2017年套用在V100（HBM2）、於2020年套用在A100（HBM2）、於2022年套用在H100（HBM2e/HBM3），最新一代HBM3e搭載於輝達2023年釋出的H200，為伺服器提供更快速度及更高容量。
HBM供給廠商主要聚集在SK海麗仕、三星、美光三大廠，SK海麗仕領跑。三大儲存原廠主要承擔DRAMDie的生產及堆疊，展開技術升級競賽，其中SK海麗仕與AMD合作釋出全球首款HBM，23年率先供應新一代HBM3E，先發奠定市場地位，主要供應輝達，三星供應其他雲端廠商，根據TrendForce數據，2022年SK海麗仕市占率50%、三星市占率40%、美光市占率10%左右，2023年SK海麗仕市占率預計為53%，三星市占率38%、美光市占率9%。
HBM在封裝工藝上的變化主要在CoWoS和TSV。
1）CoWoS：是將DRAMDie一同放在矽中介層上，透過過ChiponWafer（CoW）的封裝制程連線至底層基板上，即將芯片透過ChiponWafer（CoW）的封裝制程連線至矽晶圓，再把CoW芯片與基板連線，整合成CoWoS。當前，HBM與GPU整合的主流解決方案為台積電的CoWoS，透過縮短互連長度實作更高速的數據傳輸，已廣泛套用於A100、GH200等算力芯片中。
2）TSV：TSV矽通孔是實作容量和頻寬擴充套件的核心，透過在整個矽晶圓厚度上打孔，在芯片正面和背面之間形成數千個垂直互連。在HBM中多層DRAMdie堆疊，透過矽通孔和焊接凸點連線，且只有最底部的die能向外連線到儲存控制器，其余管芯則透過內部TSV實作互連。
GPU技術篇
更新提醒：「 」和「 」已經更新釋出，還沒有獲取的讀者，請在點選「原文連結」在微店留言獲取 （ PDF閱讀版本 ）。
轉載申明：轉載 本號文章請 註明作者 和 來源 ，本號釋出文章若存在版權等問題，請留言聯系處理，謝謝。
推薦閱讀
更多 架構相關技術 知識總結請參考「 架構師全店鋪技術資料打包 (全) 」相關電子書( 41本 技術資料打包匯總詳情 可透過「 閱讀原文 」獲取)。
全店內容持續更新，現下單「 架構師技術全店資料打包匯總(全) 」一起發送「 」 和「 」 pdf及ppt版本 ，後續可享 全店 內容更新「 免費 」贈閱，價格僅收 249 元(原總價 439 元)。
溫馨提示：
掃描 二維碼 關註公眾號，點選 閱讀原文 連結 獲取 「 架構師技術全店資料打包匯總(全) 」 電子書資料詳情 。
