大规模预训练模型高效训练策略与轻量化部署技术.docxVIP

大规模预训练模型高效训练策略与轻量化部署技术

目录

一、概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、基础理论与关键技术剖析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.1模型并行训练策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.2梯度累积技术应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.3混合精度计算原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

三、训练效率提升综合解决方案．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.1批量训练优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.2数据调度算法改进．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.3激活量化剪枝方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.4并行计算框架设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

四、面向端侧应用的模型压缩技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

4.1轻