大规模预训练模型技术演进与应用前景.docxVIP

大规模预训练模型技术演进与应用前景

目录

内容综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3国内外现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

大规模预训练模型技术概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.1模型定义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.2发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

2.3主要技术体系．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

大规模预训练模型关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

3.1训练框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

3.2知识整合方法．．．．．．．．．．．．．．．．．．．．．．．．．．．