注意力机制(基于seq2seq-RNN)详解.docxVIP

注意力机制(基于seq2seqRNN)详解

本节提出了注意力（Attention）机制，这是神经网络翻译的最新解决方案。

注意力的思想是2015年在论文“NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate”（DzmitryBahdanau，KyunghyunCho和YoshuaBengio，ICLR，2015）中提出的，它需要在编码器和解码器RNN之间增加额外的连接。事实上，仅将解码器与编码器的最新层连接会存在信息瓶颈，而且不一定能够传递先前编码器层的信息。

下图说明了采用注意力机制的方法：

图1引入注意力模型的NMT示例

需要考虑以下三个方面：

将当前目标隐藏状态与所有先前的源状态一起使用，以导出注意力权重，用于给先前序列中的信息分配不同的注意力大小。

总结注意力权重的结果创建上下文向量。

将上下文向量与当前目标隐藏状态相结合以获得注意力向量。

具体做法

通过使用库tf.contrib.seq2seq.LuongAttention来定义注意力机制，该库实现了文献“EffectiveApproachestoAttention-basedNeuralMachineTranslation”（Minh-ThangLuong，HieuPham和ChristopherD.Manning，2015）中定义的注意力模型：

?

通过一个注意力包装器，使用所定义的注意力机制作为解码器单元进行封装：

?

运行代码查看结果。可以立即注意到注意力机制在BLEU评分方面产生了显著的改善：

解读分析

注意力机制是使用编码器RNN内部状态获得的信息，并将该信息与解码器的最终状态进行组合的机制，关键思想是可以对源序列中的信息分配不同的注意力。下图的BLEU得分显示了应用注意力机制后的优势。

图2使用注意力机制的BLEU指标示例（点此查看高清大图）