Transformer架构演变路径与大规模预训练模型在知识密集型任务中的泛化能力研究.docxVIP

Transformer架构演变路径与大规模预训练模型在知识密集型任务中的泛化能力研究

目录

内容概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3文献综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

Transformer架构演变路径．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1初代Transformer架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.2改进型Transformer架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.3高效型Transformer架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.4特定领域Transformer架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

大规模预训练模型研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.1预