深度学习中attention注意力机制.pptVIP

RNN 序列性问题：自然语言处理问题，语音处理等。 计算视频中每一帧的分类标签； 语音的每一帧标签； 输入为字符，输出为下一个字符的概率（Char RNN） 缺陷：输入和输出序列必须等长。 RNN 输入输出非等长 1: N 从图像生成文字； 从类别生成语音或音乐等。 RNN 输入输出非等长 N: 1 序列分类问题 RNN N: M (N != M) 例如：机器翻译 Encoder-Decoder模型，也称之为Seq2Seq模型 （1）Encoder-Decoder结构将输入数据编码成一个上下文向量c （2）将c当做之前的初始状态h0输入到Decoder中 Sequence to Sequence Learning with Neural Networks RNN N: M 将c当做每一步的输入 Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation 机器翻译 （Encoder-Decoder就是在机器翻译领域最先提出的）。 文本摘要：输入是一段文本序列，输出是这段文本序列的摘要序列。 阅读理解：将输入的文章和问题分别编码，再对其进行解码得到问题的答案。 语音识别：输入是语音信号序列，输出是文字序列。 传统Encoder-Decoder局限性 ￥20 可多人 Encoder-Decoder局限性 Encoder-Decoder最大的局限性就在于编码和解码之间的唯一联系就是一个固定长度的语义向量C。编码器要将整个序列的信息压缩进一个固定长度的向量中去。但是这样做有两个弊端： 一、语义向量无法完全表示整个序列的信息； 二、先输入的内容携带的信息会被后输入的信息稀释掉。输入序列越长，这个现象就越严重。 Attention 2014年Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio发表的论文《Neural Machine Translation by Jointly Learning to Align and Translate》中首次提出Attention机制。 Attention机制通过在每个时间输入不同的c来解决这个问题。相比于encoder-decoder模型，attention模型最大的区别就在于它不在要求编码器将所有输入信息都编码进一个固定长度的向量之中。 相反，此时编码器需要将输入编码成一个向量的序列，而在解码的时候，每一步都会选择性的从向量序列中挑选一个子集进行进一步处理。这样，在产生每一个输出的时候，都能够做到充分利用输入序列携带的信息。 ￥30 t-1 ：Bahdanau Attention t ：Luong Attention eij : si?1 hj eij : si hj attention + CNN ￥40 Neural Machine Translation by Jointly Learning to Align and Translate，2014 (Bahdanau ) Effective Approaches to Attention-based Neural Machine Translation，2015 (Luong) Global注意力机制是一种soft注意力机制，即每一时刻解码器需要对所有编码器隐含状态都权衡一遍，这对于长序列代价太高，也许也是没有必要的。 Hard Attention，每次仅选择一个相关的source进行计算，这种方法的缺点是不可微，没有办法进行反向传播，只能借助强化学习、蒙特卡洛采样等手段进行训练。这部分内容可以参考论文：Show, Attend and Tell: Neural Image Caption Generation with Visual Attention。 Local Attention融合两种方法，其解码器每次只集中关注一个固定大小2D+1窗口中的编码器的状态。 dot对于global注意力机制比较有效，而general对于local注意力机制比较有效 有没有其他可能？ ￥30 如果decoder需要encoder的所有内容，但是又想避免过长的跨度带来的计算量，怎么办？ ￥30 Self Attention可以捕获同一个句子中单词之间的一些句法特征（比如左图展示的有一定距离的短语结构）或者语义特征（比如右图展示的its的指代对象Law）。