Transformer架构设计原理及其在大规模预训练模型中的演进与应用.docxVIP

Transformer架构设计原理及其在大规模预训练模型中的演进与应用

目录

文档概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1Transformer架构概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2预训练模型的发展背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

Transformer架构设计原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.1自注意力机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.2位置编码与位置嵌入．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.3编码器-解码器结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.4残差连接与层归一化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

Transformer在大规模预训练模型中的演进．．．．．．．．．．．．．．．．．．12

3.1模型规模的增长．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.2计算资源优化．．．．．．．．．．．．．．．．．．．．．．．．．．