揭秘智算中心的互联技术决策.docxVIP

英伟达设计的DGXH100NVL256超级计算集群，原本计划集成256个NVIDIAH100GPU，但最终其在商业市场上却难觅其踪。这一现象引发了业界对其开发中止原因的广泛讨论。普遍观点认为，主要障碍在于成本收益不成正比。该系统在连接GPU时大量使用光纤，导致BOM成本激增，超出了标准NVL8配置的经济合理性范围。

图1NvidiaDGXH100SuperPOD

DGXH100NVL256SuperPOD

尽管英伟达声称扩展后的NVL256能够为400BMoE训练提供高达2倍的吞吐量。然而，大客户经过计算分析，对英伟达的这一声明表示怀疑。尽管最新代的NDRInfiniBand即将达到400Gbit/s的速度，而NVLink4则达到450GB/s，理论上提供了约9倍的峰值带宽速度提升。该系统设计中使用了128个L1NVSwitch和36个L2外部NVSwitch，形成了2:1的阻塞比，意味着每个服务器只能有一半的带宽连接至另一服务器。英伟达依赖NVlinkSHARP技术来优化网络，以实现allToall带宽的等效性。

H100NVL256成本分析

在HotChips34会议上对H100NVL256BoM的分析表明，扩展NVLink256使得每个超级单元（SU）的BoM成本增加了约30%。当扩展到超过2048个H100GPU时，由于需要从两层InfiniBand网络拓扑转变为三层的网络拓扑，InfiniBand的成本百分比增加，这一比例略有降低。

图2NVL256成本分析

大客户和超大规模计算公司对他们当前的工作负载进行了性能/总拥有成本（perf/TCO）分析，并得出结论：相比支付NVL256扩展NVLink的成本，额外花费30%购买更多的HGXH100服务器能获得更好的性能/成本比。这一分析结果导致英伟达最终决定不推出DGXH100NVL256产品。

GH200NVL32重新设计

随后，英伟达对NVL256进行了重新设计，将其缩减至NVL32，并采用了铜背板spine，这与他们NVL36/NVL72Blackwell设计相似。据悉，AWS已同意为其ProjectCeiba项目购买16kGH200NVL32。据估计，这种重新设计的NVL32的成本溢价将比标准高级HGXH100BoM高出10%。随着工作负载的持续增长，英伟达声称对于GPT-3175B和16kGH200，NVL32的速度将比16kH100快1.7倍，在500BLLM推理上快2倍。这些性能/成本比对客户来说更具吸引力，也使得更多客户倾向于采用英伟达的这种新设计。

图3?GH200NVL32

GB200NVL72的突破

关于GB200NVL72的预期推出，英伟达据信已经从H100NVL256的失败中吸取了教训，转而采用铜缆互连，称为“NVLinkspine”，以期解决成本问题。这种设计变更预计将降低商品成本（COGcostofgoods），并为GB200NVL72铺平成功之路。英伟达声称，采用铜设计，NVL72的成本将节省约6倍，每个GB200NVL72架可节省约20kW电力，每个GB200NVL32架子节省约10kW。

与H100NVL256不同，GB200NVL72将不会在计算节点内使用任何NVLinkswitch，而是采用平坦轨道优化（flatrail-optimized）的网络拓扑。对于每72个GB200GPU，将有18个NVLinkswitch。由于所有连接都在同一机架内，最远的连接只需跨越19U（0.83米），这在有源铜缆的范围内是可行的。

图4GB200NVL72架构

据Semianalysis报道，英伟达声称其设计可以支持在单个NVLink域内连接多达576个GB200GPU。这可能通过增加额外的NVLinkswitch层来实现。预计英伟达将保持2:1的阻塞比，即在GBNVL576SU内，将使用144个L1NVLinkswitch加36个L2NVLinkswitch。或者，他们也可能采取更积极的1:4阻塞比，仅使用18个L2NVLinkswitch。他们将继续使用光学OSFP收发器来扩展从机架内的L1NVLinkswitch到L2NVLinkswitch的连接。

图5GB200NVL576架构

有传言称NVL36和NVL72已经占NVIDIABlackwell交付量的20%以上。然而，对于大客户是否会选择成本更高的NVL576，这仍然是个问题，因为扩展到NVL576需要额外的光学器件成本。英伟达似乎已经吸取了教训，认识到铜缆的互联成本远低于光纤器件。

专家观点

其实对于到底该使用铜还是光，以及对NVL72的