大规模预训练模型训练优化策略研究.docxVIP

大规模预训练模型训练优化策略研究

目录

一、内容概括．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3文献综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

二、大规模预训练模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1预训练模型的发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.2大规模预训练模型的特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.3大规模预训练模型的应用领域．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

三、大规模预训练模型训练挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.1计算资源消耗．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.2数据质量与规模．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16