Transformer架构演进及其预训练模型泛化能力研究.docxVIP

Transformer架构演进及其预训练模型泛化能力研究

目录

文档概括．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3文献综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

Transformer架构概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.1Transformer基本原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2架构演变分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

预训练模型泛化能力研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.1泛化能力的定义与重要性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.2预训练模型泛化能力的影响因素．．．．．．．．．．．．．．．．．．．．．．．．．．16

Transformer架构下的预训练模型．．．．．．．．．．．．．