本文参考自「 」,文章参考「 」, 通常单台传统服务器价格在1 万美金以内, 而搭载8张 H100算力卡的DGX H100AI服务器价值量可达40万美 金 (300万人民币左右)。
关于最新超算算力市场现状,
请参阅文章:
。
自然语言的运算、图形的处理 需要大量存储器协助运算及存 储 , 并且AI服务器对数据传输速率有着更高要求, 催生了 存储及PCB价值量的增长。
从供应链角度出发,探讨存储、PCB,以及更上游的封测、制造环节的产业机遇。
AI三要素包括算力、互联和存储,从服务器供应链角度看,存储是AI时代变革重点。
处理器性能不断提升,「内存墙」成为计算机系统的瓶颈。 计算机系统的运行受到处理器和内存的配合影响,但处理器性能因 摩尔定律 不 断提升,而内存DRAM的传输带宽没有跟随工艺的演进而快速增长,导致访存时延迟高、效率低,严重制约处理器性能发挥,即出现「内存墙」。在AI和视觉等领域,需要大量的内存带宽来支持复杂的计算操作,若内存性能落后,会导致实际算力下降50%甚至90%。
HBM 是目前用于打破「内存墙」的重要技术之一。 高带宽存储器(HBM)是一种基于3D堆栈工艺的高性能DRAM,可以提供更高的内存 带宽和更低的能耗,适用于高存储器带宽需求的应用场合,如HPC、网络交换设备等。最新的HBM3E产品可提供超过1TB/s的数据带宽,具有8Gb/s的I/O速率,缓解了因内存部件延迟而阻碍算力增长的问题。
HBM技术细节请参考「 」。
根据Yole Group统计,2023年海力士以55%的营收占比在HBM市场占据主导权,其后 是三星和美光,营收占比分别为41%和3%。美光早期在堆栈式DRAM的探索中最先选择了HMC技术,在数据传输时延迟和速度方面存在劣势,但其及时转向,在2020年推出首款HBM2产品,此后跃过HBM3,直接投入研发HBM3E,并于2023年7月发布24GB 8-HighHBM3E。
三家原厂最新的HBM3E产品对比来看, 低能耗是美光的主要竞争优势,三星拥有更小的堆叠间隙,有利于更高层数堆叠,SK海力士则得 益于其开发的MR-MUF技术,散热性能优异。
AI服务器需求核心在于更大带宽的存储,带来了存储技术路线变革:
1) CXL (compute express link):全新的互联技术标准,其带来的DRAM池化技术可以大大节约数据中心的建设成本,同时带动DRAM的用量。
2)MCR/MDIMM (Multiplexer Combined Ranks):大大提高内存带宽, AMD已经在MemCon 2023上表达了它帮助推动JEDEC的MRDIMM开放标准 的 承诺,英特尔也与SK hynix和瑞萨合作,基于与MRDIMM类似的概念,开发了多路合并阵列(MCR)DIMM 。
3)PCIe 5.0 (Peripheral Component Interconnect Express 5.0):新一代 总线技术 ,构建了更加高速的串行通信系统标准。
MCR/MRDIMM可以很好的满足AI服务器对内存带宽的高需求, 该技术将多个DRAM内存模块组合在一起,通过将两个Rank形成伪多内存 通道(Pseudo Channel),并使用专门的控制器(接口芯片)来管理它们之间的数据传输,并大大提高内存带宽, 理论上,MCR/MRDIMM内存的带宽是DDR5的两倍 。
澜起科技 已于2022年完成MCR控制芯片(MRCD/MDB)研发。
美光在HBM市场起步晚于三星和SK海力士,但于2023年7月率先发布HBM3E完成新产品反超。 后续产品规划上,根据美光披露的产品路线图, 其预计将于 2025年发布36GB 12-High HBM3E用以完善其HBM3E产品线,并于2026年推出革命性产品36GB 12-High HBM4 ,带宽预计将超过1.5TB/s。
预计在2027 年前,美光将对HBM4产品容量进一步升级,发布48GB 16-High HBM4。2028年,美光预计发布带宽升级至2 TB/s 以上的HBM4E。2023-2028年内,美光几乎年均推出一款HBM系列新产品,展示出其对高速增长HBM市场的勃勃雄心。
澜起科技拥有两大产品线,互连类芯片产品线和津逮服务 器平台产品线。其中,互连类芯片产品主要包括内存接口芯片、内存模组配套芯片、PCIe Retimer芯片、MXC芯片、CKD芯片等,津逮服务器平台产品包括津逮CPU和混合安全内存模组。
新品序列基本在2023年完成研发及送样, 未来业绩核心驱动一是DDR5芯片不断迭代保持价值量,二是新品逐步上量打开成长空间。高性能运力产品方面 Retimer,MRCD/MDB已经实现出货,并在推进开展DDR5第四子代RCD、第二子代MRCD/MDB芯片和PCIe 6.0 Retime芯片的研发。
聚辰股份是国产EEPROM龙头厂商。产品主要包括EEPROM、音圈马达驱动芯片、智能卡芯片和NOR Flash,并广泛应用于智能手机、汽车电 子、白色家电等众多领域。 公司持续拓宽EEPROM产品的应用领域,与澜起科技合作开发的SPD EEPROM产品于2021年第四季度实现量产。
内存迈入DDR5世代,SPD EEPROM必需性突显 。除内存接口芯片RCD、DB外,串行检测集线器(SPD)是内存管理系统的关键组成部分, 适用于DDR5系列LRDIMM、RDIMM、UDIMM、SODIMM等内存模组。伴随DDR5内存渗透率不断提升,SPD EEPROM将迎来更广阔的的市场空间。
相关阅读:
转载申明:转载 本号文章请 注明作者 和 来源 ,本号发布文章若存在版权等问题,请留言联系处理,谢谢。
推荐阅读
更多 架构相关技术 知识总结请参考「 架构师全店铺技术资料打包 (全) 」相关电子书( 41本 技术资料打包汇总详情 可通过「 阅读原文 」获取)。
全店内容持续更新,现下单「 架构师技术全店资料打包汇总(全) 」一起发送「 」 和「 」 pdf及ppt版本 ,后续可享 全店 内容更新「 免费 」赠阅,价格仅收 249 元(原总价 399 元)。
温馨提示:
扫描 二维码 关注公众号,点击 阅读原文 链接 获取 「 架构师技术全店资料打包汇总(全) 」 电子书资料详情 。