【注意力机制探究综述1100字】.docxVIP

注意力机制分析综述

注意力机制（AttentionMechanism）[60]早期被应用于机器翻译任务，通过基于RNN的编码-解码器框架中使用注意力机制为特征的不同方面分配权重从而达到忽略输入的中噪声或者冗余，而后被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中。注意力机制根据覆盖范围或窗口选择可以分为全局注意力和局部注意力。其中全局注意力机制的基本思想是将所有的隐藏状态融合成新的上下文向量，如下图2.3所示：

图2.3全局注意力机制结构示意图

在全局注意力机制下，编码器的隐藏状态?t会与序列中所有的源状态?s进行比较，通过这种方式对?t与?s相关程度进行打分，接