Transformer架构演进及其预训练模型性能分析.docxVIP

Transformer架构演进及其预训练模型性能分析

目录

内容概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2Transformer架构的重要性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3研究内容与方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.4文献综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.5研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

Transformer架构的演进．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.1Transformer的初始架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.2Transformer的改进版本．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

2.3Transformer架构的发展趋势．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

Transformer预训练模型的