电子行业市场分析.pdfVIP

电子行业市场分析

一、DGX服务器集群架构需要服务器、网卡、交换机、线缆、光模块

等关键硬件

为实现AI大模型训、科学计算等高算力需求工作，需要使用数百

甚至上千个GPU组成的计算单元作为算力基础评估、优化模型的配

置和参数。为了使这样一个庞大的计算单元能够有效发挥其效率，需

要使用低延迟、高带宽的网络联接各个服务器节点，以满足服务器

/GPU间计算、读取存储数据的互联通信需求，同时对整个集群系统

进行管理。服务器集群的网络系统包含服务器、网卡、交换机、线缆

包（含光模块）等主要硬件。就网络构成来看，网卡搭载于服务器内

部，网卡直接与CPU相连或通过PCIeSwitch与GPU相连；一层

交换机通过服务器机身的端口与服务器内的网卡相连；线缆用于实现

服务器•交换机、交换机•交换机间的连接，如果使用光信号实现信号

传输，线缆两端均需要搭载光模块。

-（）服务器

我们参考NVIDIADGX系列服务器的硬件配置，重点关注网卡、机身

网络端口的配置情况，分析服务器集群的网络架构发展在服务器硬件

端的反映。

1.DGX-1

2016年，NVIDIA发布了搭载8颗V100的DGX-1服务器。服务器

内配有4颗单端口100Gb/s旧/以太网NIC。服务器机身有4个

QSFP28端口，单端口支持100GEDR旧网络或100G以太网络。此

外，服务器机身还有2个10GASE-TRJ45以太网端口、以及1个

10/100ASE-TIPMI网络RJ-45端口。

S3:NVIDIADGX1网络连接埔口示京图

2.DGX-2

NVIDIA2018年发布的DGX-2通过首代NVSwitch,内部搭载了16

颗V100GPU。服务器内共有10个ConnectX・5网卡，其中8颗可

用于连接100G旧或以太网络，其余2颗用于100G以太网络。10

张网卡对应服务器端的10个QSFP28端口。此外，服务器端还有2

个RJ-45端口，均支持千兆以太网，用于In-and和Out-of-and

管理。

3.DGXA100

2020年发布的DGXA100搭载了新一代MellanoxConnectX-6网卡，

单端口支持的带宽提高至200Gb/s。在DGXA100内，共有8个支持

I网络的单端口ConnectX-6网卡、1个支持旧/以太网络的双端口

ConnectX-6网卡,此外,服务器可选装1个双端口ConnectX-6网

卡。在服务器机身，共有12个QSFP端口，用于计算、存储、In-and

管理；以及1个用于Out-of-and管理的RJ-45端口。

4.DGXH100

2022年最新发布的DGXH100搭载了8个可支持旧/以太网络的单端

口ConnectX-7网卡，最新一代ConnectX-7网卡支持NDR400Gb/s

带宽；此外还有2个可支持旧/以太网络的双端口luefield-3DPJs,

单端口速率200Gb/So服务器机身配有4个OSFP端口用于计算网

络连接;配有4个QSFP56端口，用于存储网络、ln・and管理网络;

此外还有1个用于RemoteHostOS管理的10G以太网RJ-45端口、

1个用于RemoteSystemManagement管理的1G以太网RJ-45端口。

在DGXH100服务器，网卡与端口的对应关系为：2个ConnectX-7

网卡4（00Gb/s）对应一个OSFP端口8（00G）,1个luefield-3DPU

对应2个QSFP56端口。

图6:NVIDIADGXH100网络连接端口示需留

SM?2portCorwwctX-7CME

L

-（）网卡