电子行业“AI的裂变时刻”系列报告10：HBM何以成为AI芯片核心升级点？全面理解AI存储路线图.docxVIP

图表索引

图1：美光AI内存产品组合路线图 5

图2：DRAM标准分类 6

图3：从存储单元到存储器封装 8

图4：DDR4地址标准 9

图5：DGXH100母板，配置32x64GBDDR5 12

图6：GH200superchip配置LPDDR5X 12

图7：含MRCD/MDB芯片的MRDIMM内存模组示意图 13

图8：MCRDIMM工作原理 13

图9：CXL.mem支持处理器访问CXL设备存储器 14

图10：Fabric功能使得CXL3.0设备之间可以构建网络 14

图11：BlackwellGPU搭载8颗HBM3E 15

图12：L40S服务器产品系列 15

图13：HBM各代参数 16

图14：三大原厂HBM升级路线图 17

表1：部分主流服务器处理器内存方案 7

表2：DDR、LPDDR、GDDR、HBM3E封装形式对比 8

表3：DDR5与DDR4比较 11

表4：CPU内存系统分析 12

表5：GeForce4090、H100、B200显存系统分析（不包括CPU部分） 16

一、AI存储路线图：更大容量、更大带宽、更低功耗

大模型规模指数级增长，内存带宽和容量需求激增。大模型的参数指数级增长，不仅推升了处理器的算力需求，同时也对与处理器匹配的内存系统提出了更高的要求。

一方面，大量模型数据的传输要求更大的内存带宽，以缓解“内存墙”问题，提升HPC系统计算效率；另一方面，内存系统的容量需要大幅拓展，以存储千亿参数乃至更大规模的大模型。

根据美光发布的AI内存路线图，AI内存的发展方向主要为带宽、容量、功耗和低碳四个方向。高带宽应用方面，HBM是目前带宽最高的内存标准，12-16层HBM4预计

将于2026年推出，将每个堆栈的带宽提高至1.4TB/s以上，容量提升至36-48GB。HBM4E预计将于2028年推出。GDDR作为性价比较高的选项应用于推理、图形等领域，数据传输速率为32GT/s，容量为16-24Gb的GDDR7预计于2024年底推出，并在2026年数据传输速率达到36GT/s。

大容量应用方面，为了同步提升容量和性能，美光预计将在2025年提供数据传输速率为8800MT/s的128GB–256GBMCRDIMM模块，然后在2026年或2027年提供容量超过256GB且数据传输速率为12800MT/s的MRDIMM。对于需要进一步扩展内存的设备，CXL2.0扩展模块具有128GB–256GB的容量和高达36GB/s的带宽。随后的CXL3.x标准扩展模块带宽超过72GB/s，容量超过256GB。

对于低功耗应用，业界将继续使用LPDDR。根据美光的路线图，具有8533MT/s或9600MT/s数据传输速率的LPDDR5X标准将继续使用一段时间。同时，美光将从

2025年开始提供LPCAMM2模组，随后从2026年年中开始提供LPDDR5X-9600LPCAMM模组。

图1：美光AI内存产品组合路线图

数据来源：Micron，Tom’sHardware，

本文旨在梳理DDR、LPDDR、GDDR及HBM四类DRAM标准的区别和联系，探讨HPC系统内存设计的内在逻辑，以理解在AI大模型时代，DRAM从芯片到系统层面的发展方向。

动态随机存取存储器（DynamicRandomAccessMemory，简称DRAM）在现代计算机、服务器、智能手机和游戏机等各种应用设备中作为主存储器，负责存储处理器运算和处理的数据。JEDEC定义并开发了标准DDR、移动DDR和图形DDR三种DRAM标准类别。三类DDR标准存储数据使用的底层DRAM单元相同，但是每个类别都提供独特的架构功能，旨在最好地满足目标应用程序的要求。

标准DDR面向服务器、云计算、网络、笔记本电脑、台式机和消费类应用，支持更宽的通道宽度、更高的密度和不同的形状尺寸；移动DDR使用LPDDR标准，面向移动和汽车这些对规格和功耗非常敏感的领域，提供更窄的通道宽度和多种低功耗运行状态；图形DDR分为GDDR和HBM两类标准，面向需要极高吞吐量的数据密集型应用，例如图形相关应用程序、数据中心加速和AI。

图2：DRAM标准分类

数据来源：JEDEC，

应用场景的需求决定内存的选择和升级方向。内存系统是HPC系统最重要的子系统之一。在设计处理器的内存配置时，需要在容量、带宽、延迟、能耗和性价比中做适

当的权衡，以匹配处理器芯片的性能和用途。随着AIHPC的持续发展，AI处理器的应用场景和与之相应的内存系统设计也走向多样化。HBM正在以其高带宽、高密度优势成为当前高