路径导航技术介绍-6W100-整本手册.pdf

路径导航

技术介绍

路径导航技术产生背景

在大规模AI训练集群中,网络通信会随着训练迭代周期性爆发。大量GPU之间需要

频繁交换参数,网络中既存在持续传输的大流,也存在对时延敏感的小流。

由于一次训练迭代通常需要等待所有通信完成后才能进入下一轮,因此训练性能往

往取决于最慢的那部分通信。即使只有少数流发生拥塞,

文档评论(0)

1亿VIP精品文档

相关文档