AI 工作负载需要什么样的数据中心网络？.docxVIP

为了处理不断增长的AI工作负载，AI集群网络必须提供前所未有的吞吐量、极低的延迟，并支持微数据突发等新的流量模式。更具挑战性的是，传统依赖硬件扩容提升网络效能的路径已难以满足当前需求。AI特有的高强度与指数级扩展特性，正驱动着数据中心网络架构的全面革新。

当前，业界仍在探索未来AI优化网络的具体形态，仍有许多悬而未决的问题。其中最重要的是：以太网在前端和后端网络中将扮演什么角色，以及数据中心运营商将以多快的速度采用下一代以太网和协议。

集群内部

为了探究AI工作负载对数据中心网络的影响，我们需要了解其背后的运作机制。AI处理大致可分为两个阶段：

训练：这一阶段聚焦于用海量数据“哺育”AI模型。模型通过对输入与输出间复杂模式及关联的深度剖析，逐步精进预测能力，实现高度准确性。

推理：在此阶段，AI模型将训练应用于实践。模型接收到数据输入，随即展开分类或预测操作，输出决策或答案。

这两个阶段都需要大量计算资源，体现为专有且成本高昂的处理器单元，包括但不限于CPU、GPU、FPGA，以及其他定制化加速器。特别是对于AI推理而言，连接所有这些xPU（以及服务器和存储）的网络必须提供极高的带宽、极低的延迟，并确保无数据包丢失。

目前，这些严苛要求已迫使超大规模数据中心逼近技术与效率的瓶颈。考虑到AI模型复杂度每三年增长1000倍的速度，仅仅通过扩大数据中心规模已无法满足这些需求。因此，数据中心运营商需要从根本上重新设计和构建其网络架构，以应对AI工作负载带来的挑战。

AIFabric要求

如今，运营商正在为AI工作负载投入大量的xPU。他们最终需要多少xPU，以及连接xPU的网络规模，将取决于未来的AI应用场景。但可以预见的是，需要一种能够支持数万个xPU和万亿级密集参数的网络架构。

对于AI训练而言，运营商在常规的硬件更新周期内应该能较好地支持工作负载，未来几年这将推动前端网络达到800Gbps甚至更高。然而，推理则是另一回事。在这方面，他们需要可扩展的后端基础设施，能够连接数千个xPU并实现以下几点：

大规模：与训练相比，AI推理每个加速器可以产生5倍以上的流量，并且需要5倍以上的网络带宽。后端网络还必须能够支持数千个并行同步作业以及更多数据和计算密集型工作负载。???

极低的延迟：对于实时AI推理，每一毫秒都至关重要。这些工作负载必须通过大量节点进行，并且此流程中的任何延迟都可能会阻碍可扩展性或导致超时。根据应用的不同，此类延迟可能会导致糟糕的用户体验、昂贵的制造错误或更糟糕的结果。??

无数据包丢失：在数据中心运行的AI应用程序对数据包丢失高度敏感，这会增加延迟并降低网络的可预测性。因此，AI集群网络必须是无损的。

这些后端网络要求已经开始影响人工智能用户体验。据Meta称，AI工作负载大约三分之一的时间都花在等待网络上。??

没有单一的“正确”答案

面对这些极端需求，数据中心运营商和支持他们的供应商应该如何应对？为了维持当前的AI工作负载以及未来的工作负载，最佳的基础设施方法是什么？这仍然是一个悬而未决的问题。

即使在新建的后端数据中心基础设施中，也有着巨大的差异，谷歌、微软和亚马逊都采取了不同的路径。然而，根据运营商的反馈及其投资的接口类型，我们对情况有了更清晰的认识。

DellOroGroup预测，在用于数据摄取的前端网络中，到2027年，三分之一的以太网端口将达到800Gbps或更高。在后端网络中，运营商迫切需要提高吞吐量和降低延迟，发展速度更快。到2027年，几乎所有后端端口都将达到800G及以上，带宽将以三位数的速度增长。

尽管大多数运营商将继续在前端网络中使用以太网，但后端基础设施将会有所不同。根据所支持的AI应用程序，部分运营商可能会倾向于使用像InfiniBand?这样的无损技术。另一些则可能偏好标准化以太网的熟悉度和经济性，并结合诸如RoCEv2协议等技术，以实现无损和低延迟的数据流。还有一些运营商会同时使用InfiniBand和以太网。

目前而言，并没有单一的“正确”答案。除了价格和部署规模等考虑因素之外，数据中心运营商还需基于预期支持的AI工作负载，考虑多个因素，包括：

带宽和延迟要求

模型训练是在内部进行还是外包

标准化与专有技术的选择??

对所考虑技术的未来路线图的适应程度

展望未来

尽管未来尚存变数，但为AI集群开发连接解决方案的供应商不得不在紧迫的时间线内奋力推进。在市场需求的推动下，400G以太网的部署正在增加，供应商也在尽可能快地生产800G芯片组，并且1.6Tbps以太网标准的工作也在推进中。

与此同时，严格的测试将变得更加重要，并需要针对AI基础设施的速度和规模设计新的测试和仿真工具