深度神经网络模型压缩与分布式训练优化研究.docxVIP

深度神经网络模型压缩与分布式训练优化研究

目录

一、文档概括．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.3主要研究内容．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.4技术路线与组织结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

二、深度神经网络模型压缩技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.1不依赖知识的模型压缩．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2依赖知识的模型压缩．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.3模型压缩效果评估．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

三、分布式深度神经网络训练优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.1分布式计算环境与框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.2分布