2024年存储芯片航天专题分析：HBM何以成为AI芯片核心升级点_全面理解AI存储路线图.docxVIP

2024年存储芯片航天专题分析：HBM何以成为AI芯片核心升级点_全面理解AI存储路线图

一、AI存储路线图：更大容量、更大带宽、更低功耗

大模型规模指数级增长，内存带宽和容量需求激增。大模型的参数指数级增长，不仅推升了处理器的算力需求，同时也对与处理器匹配的内存系统提出了更高的要求。一方面，大量模型数据的传输要求更大的内存带宽，以缓解“内存墙”问题，提升HPC系统计算效率；另一方面，内存系统的容量需要大幅拓展，以存储千亿参数乃至更大规模的大模型。根据美光发布的AI内存路线图，AI内存的发展方向主要为带宽、容量、功耗和低碳四个方向。高带宽应用方面，HBM是目前带宽最高的内存标准，12-16层HBM4预计将于2026年推出，将每个堆栈的带宽提高至1.4TB/s以上，容量提升至36-48GB。HBM4E预计将于2028年推出。GDDR作为性价比较高的选项应用于推理、图形等领域，数据传输速率为32GT/s，容量为16-24Gb的GDDR7预计于2024年底推出，并在2026年数据传输速率达到36GT/s。

大容量应用方面，为了同步提升容量和性能，美光预计将在2025年提供数据传输速率为8800MT/s的128GB–256GBMCRDIMM模块，然后在2026年或2027年提供容量超过256GB且数据传输速率为12800MT/s的MRDIMM。对于需要进一步扩展内存的设备，CXL2.0扩展模块具有128GB–256GB的容量和高达36GB/s的带宽。随后的CXL3.x标准扩展模块带宽超过72GB/s，容量超过256GB。对于低功耗应用，业界将继续使用LPDDR。根据美光的路线图，具有8533MT/s或9600MT/s数据传输速率的LPDDR5X标准将继续使用一段时间。同时，美光将从2025年开始提供LPCAMM2模组，随后从2026年年中开始提供LPDDR5X-9600LPCAMM模组。

本文旨在梳理DDR、LPDDR、GDDR及HBM四类DRAM标准的区别和联系，探讨HPC系统内存设计的内在逻辑，以理解在AI大模型时代，DRAM从芯片到系统层面的发展方向。动态随机存取存储器（DynamicRandomAccessMemory，简称DRAM）在现代计算机、服务器、智能手机和游戏机等各种应用设备中作为主存储器，负责存储处理器运算和处理的数据。JEDEC定义并开发了标准DDR、移动DDR和图形DDR三种DRAM标准类别。三类DDR标准存储数据使用的底层DRAM单元相同，但是每个类别都提供独特的架构功能，旨在最好地满足目标应用程序的要求。标准DDR面向服务器、云计算、网络、笔记本电脑、台式机和消费类应用，支持更宽的通道宽度、更高的密度和不同的形状尺寸；移动DDR使用LPDDR标准，面向移动和汽车这些对规格和功耗非常敏感的领域，提供更窄的通道宽度和多种低功耗运行状态；图形DDR分为GDDR和HBM两类标准，面向需要极高吞吐量的数据密集型应用，例如图形相关应用程序、数据中心加速和AI。

应用场景的需求决定内存的选择和升级方向。内存系统是HPC系统最重要的子系统之一。在设计处理器的内存配置时，需要在容量、带宽、延迟、能耗和性价比中做适当的权衡，以匹配处理器芯片的性能和用途。随着AIHPC的持续发展，AI处理器的应用场景和与之相应的内存系统设计也走向多样化。HBM正在以其高带宽、高密度优势成为当前高端AI训练芯片的首选方案，同时DDR、LPDDR、GDDR也有各自的难以替代的应用场景及AI需求下的升级方向。

二、如何理解内存系统层级及关键参数？

（一）理解内存系统的层级：从存储单元到内存系统

对于单个乃至多个处理器组成的系统而言，内存系统自下而上可以分为单元、阵列、die、封装、系统几个层级。从单元到DRAMDie：DRAM的最底层结构是存储单元，每个单元代表1bit数据，由一个存储电荷的电容器和一个负责开关的晶体管组成，即1T1C结构。大量的1T1C单元排列自下而上组成按行（row）和列（column）排列的库（bank）。单个DRAMdie往往包括多个bank。从封装到内存系统：DRAMdie经过后道工艺，制作成封装好的存储芯片。不同的DRAM标准下封装形式各有不同。LPDDR封装内往往包括多个DRAMdie，GDDR封装则一般包括1-2个die。封装好的LPDDR芯片和GDDR芯片直接安装在主板PCB上，通过PCB和处理器通信，某些用于小型系统的DDR芯片也采取这种方式。

不同于LPDDR和GDDR，绝大部分DDR内存通过DIMM（Duallinememorymodule，双列直插式内存模块）