大规模神经网络运算效率提升策略研究.docxVIP

大规模神经网络运算效率提升策略研究

目录

文档概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

大规模神经网络运算效率理论基础．．．．．．．．．．．．．．．．．．．．．．．．．．3

大规模神经网络架构优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

3.1网络结构设计原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

3.2轻量化网络模型构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

3.3模型压缩与剪枝技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

并行化与分布式计算策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

4.1并行计算理论基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

4.2GPU加速技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

4.3分布式训练框架研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

软硬件协同优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

5.1硬件平台适配．．．．．．．．