电子行业ScaleOut%26ScaleUp兼论，以太网及超节点下数据中心硬件的投资机遇.docx

正文目录

以太网成本性能兼具优势，助力大规模算力集群落地 3

以太网性能逐步追上IB网络，大规模算力集群组网优势凸显 3

产业链巨头相继布局以太网，大规模算力集群组网方案日渐清晰 4

组网方案不影响需求总量，拓扑结构及传输带宽决定加速器光模块比例 5

数十万卡数据中心网络探索，大规模算力集群有望驱动光模块需求超预期 6

单算力节点性能趋近极限，Scaleup驱动高速铜缆需求增长 7

单芯片算力提升遇阻，Scaleup拓展超带宽域内算力节点成为突破方向 7

英伟达使用高速铜缆完成了GB200中72颗GPU的全互联 8

高速直连铜缆市场海外巨头优势明显，国内多厂商为巨头上游供应商 9

建议关注 10

风险提示 10

图表目录

图表1：超以太网联盟 3

图表2：博通以太网网络性能 3

图表3：Meta的GenAI基础设施 4

图表4：英伟达Spectrum-X系列路线图 4

图表5：DGXH200及Quantum-2QM9700光模块比例测算 6

图表6：GB200NVL72及Quantum-X800Q3400交换机组网光模块比例测算 6

图表7：HBD超节点典型代表与业务受益举例 7

图表8：HBD超节点典型代表与业务受益举例 8

图表9：NVLinkSpine铜缆 9

图表10：交换托盘Overpass跳线 9

图表11：2022年全球高速直连铜（DAC）电缆前15强生产厂商排名及份额 9

以太网成本性能兼具优势，助力大规模算力集群落地

以太网性能逐步追上IB网络，大规模算力集群组网优势凸显

AI应用程序，特别是生成式AI需要处理和分析大量数据，执行复杂算法，这些任务通常都会超过单个计算节点的能力，因此需要跨多个计算节点分布工作负载。而随着模型数据量和模型大小的增加，如果没有高性能网络的支持，计算就难以完成。InfiniBand网络是原生的无损网络，采用胖树网络拓扑结构，能够确保任意两个计算节点之间的网卡实现无阻塞通信，广泛应用在高性能计算机集群中，根据InfinibandTradeAssociation，2023年TOP500超级计算机中共有200多个使用了InfiniBand网络架构。尽管InfiniBand拥有出色的性能，但是由于其为专有协议，网络设备价格昂贵，并且在网络和GPU上受到供应商的锁定，因此在一般应用中普及率相对较低。

虽然本质上以太网是有损网络，但是随着大规模AI应用的普及以及GPU计算在云环境中开始被采用，越来越多高性能计算集群开始采用基于RDMA（远程直接内存访问）和优先级流量控制（PFC）的融合以太网。2023年7月，在Linux基金会的牵头下，AMD、英特尔、思科、博通等企业联合成立了超以太网联盟，目标是超越现有的以太网功能，提供针对高性能计算和人工智能进行优化的高性能、分布式和无损传输层，直接对标InfiniBand。

从高性能计算网络架构的长期发展角度来看，以太网的性能将逐步追上甚至超越InfiniBand，同时基于其更深厚的产业基础，产业链能够提供更具成本优势的网络设备。博通在2024年AI基础设施大会上展示了Meta以太网和Infiniband算力集群的对比，结果显示24000卡集群下以太网组网成本是Infiniband的50%，性能高出10%。

图表1：超以太网联盟 图表2：博通以太网网络性能

来源：讯石光通讯网， 来源：博通，

产业链巨头相继布局以太网，大规模算力集群组网方案日渐清晰

Meta于2024年3月在其官方网站上宣布了两个全新的24KH100GPU集群，这些集群专为Llama3的训练而设计，总计拥有高达49152个GPU。其中一个集群是基于以太网结构，另外一个则采用了InfiniBand结构。从结果来看，以太网组网成本是InfiniBand的50%，性能高出10%。Meta目标在2024年年底前继续扩大基础设施建设，其中包括35万颗NVIDIAH100。在更大规模的GPU集群中，以太网及InfiniBand网络成本的差异会更加凸显。

英伟达在25Q1业绩电话会中指引Spectrum-X将在一年内跃升成为数十亿美元产品线之后，Computex2024大会上，黄仁勋进一步为Spectrum-X系列交换机提出了一年更新一代的路线图。英伟达将在2025年及之后分别推出SpectrumX800Ultra、SpectrumX1600