Transformer架构演进与大规模预训练模型技术体系研究.docxVIP

Transformer架构演进与大规模预训练模型技术体系研究

目录

内容简述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2Transformer架构的发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3大规模预训练模型的技术挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

相关工作．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1Transformer架构的理论基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2大规模预训练模型的技术演进．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.3相关研究的分析与总结．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

Transformer架构演进与模型优化．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.1Transformer架构的改进与扩展．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.2模型优化方法与策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．