电子设备-“AI的裂变时刻”系列13：计算集群规模提升趋势明确，以太网交换机市场空间广阔-广发证券[王亮,耿正,张大伟]-20240704【7页】.pdf

[Table_Page]行业专题研究|电子

2024年7月4日

证券研究报告

[Table_Title]

“AI的裂变时刻”系列13

计算集群规模提升趋势明确，以太网交换机市场空间广阔

[Tabl

分析师：王亮分析师：耿正分析师：张大伟

e_Author]SAC执证号：S0260519060001SAC执证号：S0260520090002SAC执证号：S0260523050001

SFCCE.no:BFS478

021021021

gfwangliang@gengzheng@zhangdawei@

请注意，耿正,张大伟并非香港证券及期货事务监察委员会的注册持牌人，不可在香港从事受监管活动。

[Table_Summary]

核心观点：

GPU集群规模增长趋势显著。在大模型ScalingLaws持续有效的背景下，以集群形式的分布式并行训练能够

有效节省训练时间与提升GPU使用效率，面对不断膨胀的模型参数和训练数据，为尽可能缩短模型训练时间，

提升模型迭代效率，集群规模有望实现指数级增长。以英伟达为例，根据其在COMPUTEX2024上发布的升

级规划：（1）2024年互联超一万颗GPU；（2）2025年互联超十万颗GPU；（3）2026年互联超百万颗GPU。

集群规模扩张推动网络层数增加，进而提升交换机配比。集群内网络搭建需要满足高带宽和低延迟的需求，因

此，使用Fat-Tree（胖树）架构的CLOS网络正被广泛应用于计算集群中。随着计算集群规模的持续扩大，交

换机网络层数将随之提升。根据英伟达官网，以SPECTRUM-X以太网交换机为例，主流型号SN5600拥有64

个800Gbps端口。根据论文《AScalable,CommodityDataCenterNetworkArchitecture》中的测算，在不考

虑网络收敛和光模块拆分的情况下，不同层数的CLOS胖树架构互联GPU的上限分别为：（1）2层架构：计

算网络最多使用96个交换机，最多互联2,048个GPU，GPU与计算网络交换机配比为64:3；（2）3层架构：

计算网络最多使用5,120个交换机，最多互联65,536个GPU，GPU与计算网络交换机配比为64:5；（3）4层

架构：计算网络最多使用229,376个交换机，最多互联2,097,152个GPU，GPU与交计算网络机的配比为64:7。

GPU集群规模扩张触发InfiniBand互联上限，RoCE协议有望在大集群中更多被应用。InfiniBand协议中优先

考虑尽可能降低网络延迟，而RoCE协议则优先考虑网络的兼容性与分布式。在数据交互中，IB协议中每个

GPU都有自己的LID（LocalID），两两GPU之间交互路径由路由表提前算好，以此实现低延时效果。但根据

IB协议中的报文结构，LID由一个16位的二进制编码组成，因此在IB网络协议下，互联的GPU上限为

2^16=65,536个。随着集群规模向十万卡级别升级，R