面向超大规模神经网络的混合并行训练加速优化策略研究.docxVIP

面向超大规模神经网络的混合并行训练加速优化策略研究

目录

一、文档概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、混合并行训练技术概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1混合并行的基本概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.2常见混合并行模式分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.3混合并行训练的优势与挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

三、超大规模神经网络架构优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.1神经网络架构的优化目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.2架构层次化设计策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.3模型压缩与剪枝技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

四、并行训练策略研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

4.1数据并行策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

4.2模型并行