Transformer架构原理详解及预训练模型族系研究.docxVIP

Transformer架构原理详解及预训练模型族系研究

目录

Transformer架构概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

Transformer核心原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.1自注意力机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.2位置编码．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.3前馈神经网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.4残差连接与层归一化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

Transformer模型结构解析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.1编码器-解码器架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.2多头注意力机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.3位置感知与序列处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

预训练模型族系研究．．．．．．．．．．．．．．．．．．．．．．