Transformer架构原理及其在AI时代的应用.docxVIP

Transformer架构原理及其在AI时代的应用

目录

文档概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1AI时代背景概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2Transformer架构的兴起．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

Transformer架构原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.1模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.2自注意力机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.3位置编码与位置嵌入．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.4前馈神经网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.5残差连接与层归一化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

Transformer在自然语言处理中的应用．．．．．．．．．．．．．．．．．．．．．．13

3.1机器翻译．．．．．．．．．．．．．．．．．．．．．．．．．．