电子行业深度研究报告：Scalinglaw依然有效，自研AI芯片后劲十足.docx

目 录

一、大模型Scaling仍在持续，推动大规模并行计算 7

（一）GPU与深度学习相辅相成，开启新一轮AI浪潮 7

（二）AI大模型掀起新一轮AI技术变革，大规模分布式AI算力需求迫切 9

二、解构英伟达AI布局，探寻AI产业发展方向 13

（一）GPU算力提升之路：微结构提升或有望成为算力提升主要途径 14

（二）高速互连：构建全系列高速互连系统，打造AI超级计算机 16

1、NVLink：从内部高速互连走向超级网络 18

2、IB交换机：构建无损的RDMA网络，支持ScaleOut网络互连 26

三、AI产业群雄并起，AI自研后劲十足 28

（一）AI自研芯片：AI算力成为核心要素，科技巨头追求自主可控 28

（二）UALink：UALink打造开放高速互连标准，旨在打破英伟达NVlink垄断 31

（三）以太网：以太网优势日益凸显，加速广泛部署于AI算力中心 32

四、相关公司 38

（一）沪电股份：AI业务加速放量，800G交换机有望与AI服务器共振向上 38

（二）生益电子：AI服务器大批量交付，800G交换机产品有望放量 38

（三）胜宏科技：前瞻布局HDI领域，深度受益于AI服务器用HDI需求提升 38

五、风险提示 39

图表目录

图表1深度学习通过嵌套映射来学习复杂概念 7

图表2深度学习是一种特定的机器学习 7

图表3深度神经网络前向传播过程 8

图表4深度神经网络反向传播过程 8

图表5CPU与GPU架构对比 9

图表6 芯片架构设计三大目标：带宽（Bandwidth）、延时（Latency）和吞吐量

（Throughput） 9

图表7AI算力需求增长速度远超硬件算力提升速度 10

图表8分布式计算与单节点计算对比 10

图表9AI模型分布式并行策略 11

图表10模型训练时，张量并行的通信流量远高于流水线和数据并行 11

图表11大模型训练中常用的混合并行训练策略 12

图表12AI集群的典型架构 13

图表13AI大模型训练基本过程 13

图表14英伟达的三大支柱——系统和网络、硬件和软件 14

图表15GPU架构发展之路 15

图表16V100的4×4矩阵乘法比P100快12倍 15

图表17Transformer引擎自动处理数据精度 15

图表18H100相比A100性能提升6倍主要源自架构创新 16

图表19Transformer模型大小随不同用例呈指数级增长 16

图表20过往8年时间单GPU算力提升1000倍 16

图表21AI算力三种网络 17

图表22ScaleUp和ScaleOut网络对比 17

图表23GPU之间PCIe通信需要通过CPU 18

图表24GPU之间使用NVLink通信无需通过CPU 18

图表25历代NVlink情况 18

图表26H200八卡服务器配置4颗NVSwitch芯片 19

图表27历代NVSwitch芯片情况 19

图表28历代NVSwitch芯片情况 19

图表29多GPU之间通信是否使用NVSwtich芯片 19

图表30不使用NVSwitch芯片将导致需要花费更多的时间用于通信 19

图表31是否使用NVSwtich芯片的GPU之间通信带宽速度比较 20

图表32GPU并行计算中涉及数据交换和并行计算 20

图表33NVSwitch的SHARP功能可以提升通信效率，加速计算过程 20

图表34NVLink交换机 21

图表35NVLink网络与NVLink对比 21

图表36NVLink交换机构建SuperPOD 22

图表37NVLink网络与IB网络对比 22

图表38NVlink网络在通信密集任务下性能优势更加明显 23

图表39NVLink-C2C技术 23

图表40GH200Superchip芯片结构及GPU、CPU之间内存访问通道 24

图表41NVLinkC2C大幅加快推理速度 24

图表42GB200NVL72机柜 24

图表43ComputeTray 25

图表44SwitchTray 25

图表45GB200NVL72ComputeTray和SwitchTray的结构 25

图表46B200GPU芯片 26

图表47