分布式训练通信效率提升策略研究.docxVIP

分布式训练通信效率提升策略研究

目录

内容综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景及意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2相关工作概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3本文主要贡献．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.4论文结构安排．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

分布式训练通信模型分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.1分布式训练环境构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.2模型并行通信模式．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

2.3通信开销影响因素分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

通信效率优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

3.1基于压缩的通信优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

3.2