基于注意力机制的变换器架构技术原理分析.docxVIP

基于注意力机制的变换器架构技术原理分析

目录

内容综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3文献综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

注意力机制基本原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1注意力机制概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.2注意力模型类型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

变换器架构概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.1变换器架构介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.2变换器与循环神经网络的比较．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.3变换器架构的关键组件．．．．．．．．．．．．．．．．．．．．．．．．．．．．