预训练语言模型演进路径及其技术迭代机制分析.docxVIP

预训练语言模型演进路径及其技术迭代机制分析

目录

内容概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3研究目的．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

背景与前提．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.1大模型训练的技术演进．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.2语言模型发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.3技术发展的驱动因素．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

主体部分．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.1大模型训练的技术演进．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.1.1基于传统机器学习的基础．．．．．．．．．．．．．．．．．．．