HBM解决了传统 GDDR 遇到的「内存墙」问题，采用了存算一体的近存计算架构，不通过外部连线的方式与 GPU/CPU/Soc 连接，而是通过中间介质层紧凑快速地连接信号处理器芯片，极大的节省了数据传输所使用的时间与耗能。
而在空间占用上，HBM 采用的堆栈技术会使得在空间占用要比同比传统 GDDR 节省 94%。在应对目前云端 AI 的多用户，高吞吐，低延迟，高密度部署需求所带来的计算单位需求，I/O 数量也需要不断突破满足计算单位的需求。使用 GDDR 所适配的 PCB 技术并不能突破 I/O 数量瓶颈，而 HBM 的TSV 技术带来的存储器集成度极大提升，使得带宽不再受制于芯片引脚的互联数量，在一定程度上解决了 I/O 瓶颈，成为高算力芯片的首选。
NVIDIA 和 AMD 依靠 HBM 持续提升 GPU 性能
HBM 新型存储器较传统 GDDR 具有更高的带宽，更低的延迟和更好的等效比。随着 AI 对算力的高要求，高带宽内存显然是高性能 GPU 的最佳搭配，AMD 和 NVIDIA 两家尖端的 GPU都陆续配备了 HBM。
NVIDIA 已在搭载 HBM 的 GPU 型号上迭代 5 次，性能也在不断跟进以适配 AI 模型与训练的需求。在 7 年时间内，从 V100 架构时代搭载的 HBM2 已经演化到了 GB200 的 HBM3E，而内存宽带与容量则是在这几年内翻了数倍。
以同一 Hopper 架构下的 H100 SXM 和 H200 SXM为例，在其他硬件条件与接口协议相同的情况下，搭载了 HBM3E 的 H200 SXM 要比搭载了HBM3 的 H100 SXM 在带宽速率上提升了 43%，在容量上也是扩增了 76%。而对比落后了一整代，搭载了 HBM 2E 的 A100 SXM，带宽速率更是提高了 141%，所有的这一切提升都是HBM 性能迭代带来的优势。
归因于 AI 大模型的逐步迭代，GPU 迭代速度加快。核心供应商 NVIDIA 和 AMD 新品性能竞争，预计 2025 年加速 HBM 规格需求大幅转向 HBM3e，且将会有更多 12hi 的产品出现，带动单芯片搭载 HBM 的容量提升。根据 TrendForce 集邦咨询预估，2024 年的 HBM 需求位元年成长率近 200%，2025 年可望将再翻倍。
SK 海力士持续领先，三星和美光加紧追赶
自 2014 年首款硅穿孔 HBM 产品发布至今，HBM 技术已经发展至第五代，分别是：HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代），HBM代际升级主要体现在数据速率和容量密度上，HBM 芯片容量从 1GB 升级至 24GB，带宽从 128GB/s提升至 1.2TB/s，数据传输速率从 1Gbps 提高至 9.2Gbps。
从竞争格局来看，HBM 领域的主要供应商仍是存储器三大巨头 SK 海力士、三星以及美光，为应对全球 GPU 需求持续高增长的趋势。根据 Trendforce 数据，预计 2024 年 SK 海力士在 HBM 市场中的市占率预计为 47-49%，三星电子的市占率为 47-49%、美光的市占率为 3-5%。
1）HBM3 及以前产品，海力士稳居行业龙头，三星和美光跨越式追赶
SK 海力士在 2022 年率先三星推出了 HBM3，并与 NVIDIA 实行了强绑定，在 2022-2023 年NVIDIA 的主攻 H100 的存储器解决方案为 SK 海力士的 HBM3，导致 SK 海力士目前于 HBM3的占比愈 9 成。在 23 年下半年，SK 海力士向 NVIDIA 送去了 8Hi 24GB HBM3E 以供验证。
三星推出了首代 HBM 产品HBM2。并在 2019 年量产 HBM2E，但在 HBM3 的赛道上，因在 2019 年错判低估 HBM 市场成长率，解散了 HBM 小组，导致在研发力度上三星落后于海力士，在 2023 年下半年才进行了 HBM3 的量产计划，直到 2024 年才陆续通过 AMD MI300系列验证，因此有望 2024Q1 后才能逐渐放量 HBM3 产品。而在 HBM3E 上，三星仍不敌海力士，在 2023 年下半年送去的 12Hi 36GB HBM3E，仍未等到 NVIDIA 的技术验证通过，推测可能是 TC-NCF 技术 HBM 良率同比 SK 海力士较低所致。这一技术代差在 HBM3 就得以体现，SK 海力士的良率在 60-70%左右，而三星只在 10-20%左右。
由于美光在前期因为技术误判在 HMC 技术上投入过多资金，直到 2018 年才从 HMC 转向 HBM方向。因此，不想错过末班车的美光跳过了 HBM2，直接于 2020 年进行了 HBM2E 的量产，以后起之秀的身份进入了市场，随即加速迈过 HBM3 直接在 2023 年进行了 HBM3E 的研发，并在 2024 年 2 月份宣布开始量产 HBM3E，并应用在 SK 海力士的长期合作厂商 NVIDIA 的H200 芯片上，将在今年第二季度为 NVIDIA 供应 HBM3E 8Hi 24GB 的芯片，而 HBM3E 12Hi 36GB则已经在样本阶段了，这两种型号的带宽将超过 1.2TB/s。
2）三家争相送样 HBM3E
为了更妥善且健全的供应链管理，NVIDIA 也规划加入更多的 HBM供应商，其中三星（Samsung）的 HBM3（24GB）已于 23 年 12 月在 NVIDIA 完成验证。而HBM3e 进度依据时间轴排列如下表所示，美光（Micron）已于 23 年 7 月底提供 8hi（24GB）NVIDIA 样品、SK 海力士（SK hynix）已于 23 年 8 月中提供 8hi（24GB）样品、三星则于23 年 10 月初提供 8hi（24GB）样品。
3）在角逐 HBM3E 的同时，三大存储原厂已经开始排布下一代存储产品 HBM4
目前，SK 海力士已宣布研发 HBM4，并与台积电就 HBM4 研发和下一代封装技术合作签署谅解备忘录，计划从 2026 年开始批量生产 HBM 第六代产品——HBM4。SK 海力士有望采用台积电的先进逻辑工艺来提高 HBM4 的性能，针对搭载于 HBM 封装内最底层的基础裸片进行优化。台积电此前也表示，将采用 N5 和 N12FFC+工艺制造基础裸片，为 HBM4 提供更强的性能和能源效率。
在 HBM4 研发上，三星和美光也加紧追赶。尽管 SK 海力士目前稳居 HBM 市场龙头，但三星正加速追赶 SK 海力士。
预计 2024 年 HBM 产值将翻 4 倍，达到 169 亿美元
由于 HBM 售价高昂、获利高，进而导致较大资本开支，市场一般从产值和产能两个角度关注 HBM 的成长空间。根据集邦咨询数据，截至 2023 年底，行业内整体 DRAM 产业规划生产HBM TSV 的产能约为 250K/m，占总 DRAM 产能（约 1,800K/m）约 14%，供给位元年成长约260%。这主要归因于：
1）HBM 较常规 DRAM 面积较大、产线良率低。以 HBM 及 DDR5 生产差异来看，其 Die Size较 DDR5 同制程与同容量（例如 24Gb 对比 24Gb）尺寸大 35-45%；良率（包含 TSV 封装良率）则比起 DDR5 低约 20-30%。
2）HBM 生产周期更长，锁单较早，三大原厂加大产能规划。HBM 生产周期较 DDR5 更长，从投片到产出与封装完成需要两个季度以上，生产周期（包含 TSV）较 DDR5 多 1.5-2 个月不等上。
集邦咨询数据显示，2023 年 HBM 产值占 DRAM 整体产业约 8.4%，市场规模约 43.56 亿美元；预估至 2024 年底将达 169.14 亿美元，占 DRAM 整体产值约 20.1%。
相关阅读：
更新提醒：「 」和「 」已经更新发布，还没有获取的读者，请在点击「原文链接」在微店留言获取 （ PDF阅读版本 ）。
转载申明：转载 本号文章请 注明作者 和 来源 ，本号发布文章若存在版权等问题，请留言联系处理，谢谢。
推荐阅读
更多 架构相关技术 知识总结请参考「 架构师全店铺技术资料打包 (全) 」相关电子书( 41本 技术资料打包汇总详情 可通过「 阅读原文 」获取)。
全店内容持续更新，现下单「 架构师技术全店资料打包汇总(全) 」一起发送「 」 和「 」 pdf及ppt版本 ，后续可享 全店 内容更新「 免费 」赠阅，价格仅收 249 元(原总价 439 元)。
温馨提示：
扫描 二维码 关注公众号，点击 阅读原文 链接 获取 「 架构师技术全店资料打包汇总(全) 」 电子书资料详情 。
