大规模语言模型的训练算法与部署优化研究.docxVIP

大规模语言模型的训练算法与部署优化研究

目录

文档概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

大规模语言模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.1定义与分类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.2发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.3应用场景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

训练算法基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.1数据预处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.2模型架构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.3损失函数与优化器选择．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

训练算法研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

4.1预训练策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．