面向AI推理集群大规模部署的分布式算力光互联拓扑优化与负载均衡策略.docx

PAGE2

面向AI推理集群大规模部署的分布式算力光互联拓扑优化与负载均衡策略

摘要

本报告聚焦AI推理集群大规模部署场景下的分布式算力光互联拓扑优化与负载均衡策略，系统研究推理业务区别于训练集群的独特网络需求及动态拓扑重构技术路径。

随着生成式AI应用爆发，推理算力需求正从集中式超大规模集群向分布式、近边缘的推理节点网络演进。推理业务呈现高并发、低时延、请求异构三大特征，单次推理延迟需控制在毫秒级，并发请求量可达每秒数十万次，不同模型（文本生成、图像生成、视频理解）对计算与通信资源的需求差异显著。传统面向训练集群设计的静态胖树或Clos拓扑难以适配此类负载，光互联技术的动态重构能力成为