大规模预训练模型的训练算法与部署技术研究.docxVIP

大规模预训练模型的训练算法与部署技术研究

目录

内容概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3研究目标与内容．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

大规模预训练模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1定义与分类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.2发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.3关键技术介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

训练算法研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.1损失函数设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.2数据预处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．