深度学习与注意力机制-语言计算与机器学习研究组.PDFVIP

Attention in Deep Learning for NLP 孙栩 xusun@pku.edu.cn 内容 § 涉及到文本生成的任务效果近年来显著提升 § 语义表示改进：Deep Neural Networks § 序列建模改进：Recurrent Neural Networks § 语言生成改进：Neural Language Models § 然而现有技术仍有很多缺陷 § 长序列建模效果仍然不佳 § 数据稀疏问题仍需要进一步缓解 § Attention技术应运而生 § 序列到词建模作为序列到序列建模的补充 § 额外的输入信号来源 ，有效缩短了输出到输入依赖的距离 背景 § Encoder-Decoder框架，尤其是Sequence-to- sequence范式的问题 § 映射以序列整体为单位，严重的数据稀疏问题 § 1 ，距离过长 § 2 ，循环参数w表达能力不足 背景 § Encoder-Decoder框架，尤其是Sequence-to- sequence范式的问题 § 输入到输出依赖的距离会相当长 § 基于反向传播的学习很难学习 § 之前的技巧：将输入序列颠倒，放弃建模过长的依赖 § 但是无法根本解决问题 Attention § 最早由Bahdanau et al.于2014年提出，用于自然语言处理的 机器翻译任务 ，发表于ICLR 2015 § 整体思路非常简单 § 目标序列的每步额外增加来自源序列的信号 § 信号为源序列每步输出的加权平均 § 一般被译为“注意力” § 大致思路： § s是目标状态，可以是ht ，ht-1 ，或h和x的组合 § 在这篇论文里，是ht-1 § Source的ht和目标的ht拼接在一起，然后过一个MLP § 然后得到at ，是一个实数 § 然后所有输入得到一个归一化向量 § Attention向量和输入逐个相乘，得到输入的向量表示 § 从而目标端的ht得到除ht-1外的另一个输入 Attention § 最早由Bahdanau et al.于2014年提出，用于自然语言 处理的机器翻译任务 ，发表于ICLR 2015 § 整体思路非常简单 § 目标序列的每步额外增加来自源序列的信号 § 信号为源序列每步输出的加权平均 § 通过attention可以解决前述的问题 § 依赖距离最短为1 Attention § 最早由Bahdanau et al.于2014年提出，用于自然语言 处理的机器翻译任务 ，发表于ICLR 2015 § 整体思路非常简单 § 目标序列的每步额外增加来自源序列的信号 § 信号为源序列每步输出的加权平均 § 理想情况下，可以解决前述的问题 § 由于使用源序列加权，可以构建 § 词到词映射 § 短语到词映射 § 离散片段到词映射 § 序列到词映射 Attention § 之后又出现了多种多样的attention ，领域也不再限于序 列到序列学习，推广到NLP的诸多领域 § 较为知名的有 § Stanford Luong et al. EMNLP 2015的global attention和 local attention § UToronto UMontreal 2015的visual attention § CMU MSR NAACL 2016的hierarchical attention § Google NIPS 2017的multi-head scaled dot-product attention和self attention Bahdanau Attention § 最早的attention ，用于机器翻译 § 引用量非常高，和seq2seq引用相当 Bahdanau Attention § 特点 § Attention作为LSTM输入 § 使用前一时刻的LSTM输出查询 § Attention计算公式（之前