大规模预训练模型训练效率提升与参数优化策略研究.docxVIP

大规模预训练模型训练效率提升与参数优化策略研究

目录

文档简述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3研究内容与方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

大规模预训练模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1预训练模型的发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.2大规模预训练模型的特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.3大规模预训练模型的应用领域．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

训练效率提升策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.1数据并行化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.2模型并行化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．