基于力机制RNN序列转换模型研究.pptxVIP

Attention单击输入您的封面副标题

RNN-seq2seqencoder需要将整个输入序列编码为单个向量c,会导致信息丢失decoder要从单个向量c中解码传递的信息，很困难潜在问题：神经网络模型难以处理长句子（建模长序列困难），尤其是比训练语料库中的句子长度更长的句子。机器翻译问答系统语音识别LASseq2seq：Encoder-Decoderseq2seq:输入一个序列，转化为一个新的输出序列，输入输出的长度可以是不一致的

AttentionAttention是结合在RNN中的一种机制，它可以在预测输出序列的某一部分时，将注意力集中在输入序列的某一部分，从而使学习更容易，质量更高。带注意力机制的RNN模型我爱中国Ilovechina

Attention带注意力机制的RNN模型输入序列输出序列编码器状态向量解码器隐状态向量上下文向量上下文向量（attention）使得decoder在预测第j个输出的时候能够关注输入的某些部分。每个上下文向量ci都是encoder输出向量h1,h2,h3,h4的加权和。上下文向量c1,c2,c3,c4这样得到：LocalAttention

Attention注意力权重aij计算方法为权重Wa是通过一个额外的fc网络学习的，如右图，使用fc和softmax函数学习注意力权重.ei,j为score函数

Attenti