大规模神经网络高效训练策略及实践探索.docxVIP

大规模神经网络高效训练策略及实践探索

目录

一、文档简述与宏观背景阐述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、现有技术瓶颈与难点深度剖析．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.1显存容量与计算吞吐的制约因素．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.2分布式通信开销带来的性能损耗．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.3梯度消失与模型收敛的稳定性问题．．．．．．．．．．．．．．．．．．．．．．．．．6

三、计算资源深度优化与分布式并行架构设计．．．．．．．．．．．．．．．．．．9

3.1