2024年AI发展前景报告.pptx

目录CONTENTS 一、HBM：算力的内存瓶颈 二、SK海力士HBM工艺分析：TSV、EMC、混合键合成趋势 三、市场测算：未来三年CAGR超80% 四、相关标的：设备、材料迎来新成长 五、风险提示中信建投证券CHINASECURITIESCPU拥有多级缓存架构，HBM属于内存环节?现代CPU为了提升执行效率，减少CPU与内存的交互(交互影响CPU效率)，一般在CPU上集成了多级缓存架构。?CPU缓存即高速缓冲存储器，是位于CPU与主内存间的一种容量较小但速度很高的存储器。由于CPU的速度远高于主内存，CPU直接从内存中存取数据要等待一定时间周期，Cache中保存着CPU刚用过或循环使用的一部分数据，当CPU再次使用该部分数据时可从Cache中直接调用，减少CPU的等待时间，提高了系统的效率。?从CPU到用户数据，需经历“寄存器SRAM内存SSD或HDD”的路径，HBM属于内存的一种。图表：CPU的多级缓存架构HBM中信建投证券CHINASECURITIES数据来源：中国闪存市场，中信建投-5-存储性能是当下制约高性能计算的关键因素?内存墙（传输带宽慢或容量有限）是算力提升的重要瓶颈。?从存储器到处理器，数据搬运会面临2个问题：（1）数据搬运慢；（2）搬运能耗大。图表：数据传输的速率及能耗限制算力性能发挥中信建投证券CHINASECURITIES数据来源：知存科技，中信建投 6 存储性能是当下制约高性能计算的关键因素?算力的增速远大于存储的增长速度。目前绝大部分的计算系统基于冯诺依曼计算机体系，而该体系下存储与计算单元分离，需要通过总线不断在存储与处理器之间传输数据，因此存储的带宽制约了算力的利用效率。此外，从外部处理器到内存之间不断进行数据的搬运，搬运时间往往是运算时间的成百上千倍，产生的无用能耗过多。图表：算力的增速远超存储与互连带宽的增速中信建投证券CHINASECURITIES数据来源：riselab，中信建投-7-存储性能是当下制约高性能计算的关键因素?模型体量的增速远大于算力卡存储容量的增速。随着Transformer模型的大规模发展和应用，模型大小每两年平均增长了240倍，而单个GPU内存容量仅以2年2倍的速度扩大。为了摆脱单一算力芯片内存有限的问题，可以将模型部署于多颗GPU上运行，但在算力芯片之间移动数据，仍然比单一芯片内部移动数据低效，因此算力芯片内存容量的缓慢增速制约了更大规模的模型应用。图表：大模型体积的增速远高于算力芯片存储容量的增速中信建投证券CHINASECURITIES数据来源：riselab，中信建投 8-HBM：基于TSV技术获得的高带宽内存，已成为高性能计算的首选?如同闪存从2DNAND向3DNAND发展，DRAM也正在从2D向3D技术发展，HBM（HighBandwidthMemory，高带宽存储）为主要代表产品。从结构上看其特点有：（1）3D堆叠结构并由TSV互连：HBM由多颗DRAMdie堆叠成3D结构，使用TSV技术实现信号的共享与分配；（2）高I/O数量带来高位宽：HBM的每颗DRAMDie包含多个通道，可独立访问。每个通道又包含多个I/O口，位宽64/128bit，使HBM的总位宽高达1024bit。?HBM性能优异，主要用于高性能计算芯片。HBM的结构特点为其带来存储密度更大、功耗更低、带宽更高的优势。HBM通常采用CoWoS等先进封装技术与计算核心进行互连，多用于与数据中心算力芯片GPU/FPGA/ASIC等配合工作。图表：HBM结构示意图图表：HBM采用CoWoS封装与计算核心互连数据来源：SKHynix，中信建投中信建投证券数据来源：AMD，中信建投CHINASECURITIES9HBM优势：相比GDDR，大幅增加计算核心可用的带宽?总带宽=I/O数据速率（Gb/s）*位宽/8。为解决DDR带宽较低的问题，本质上需要对单I/O的数据速率和位宽（I/O数*单I/O位宽）进行提升，着重于不同方向发力的方案分别为GDDR和HBM。?GDDR提升单I/O的数据速率，总带宽提升有限：GDDR采取大幅提升单I/O数据速率的手段来改善总带宽，GDDR5和GDDR6的单I/O数据速率已达到7Gb/s到16Gb/s，超过HBM3的6.4Gb/s。虽然GDDR的位宽相比DDR也有提升，但由于GDDR仍然是通过PCB与计算核心进行互连，总位宽的提升受到限制。?HBM利用TSV技术提升I/O数，总带宽提升明显：HBM利用TSV技术在维持较低的单I/O数据速率的情况下，大幅提升了位宽进而获得了远优于GDD