【自然语言处理实践05】基于Attention机制的文本分类.pptxVIP

1

基于Attention机制的文本分类

Seq2Seq模型存在的问题

注意力机制

注意力机制

Ci如何计算？

注意力机制

Ci如何计算？

注意力机制

aij如何计算？

通过输出端的前一个状态h’i-1，计算输入端每一个hj的attention，即aij

机器翻译中的注意力机制

源语言词，目标语言词的注意力权重基本与两个词互为翻译的情况一致

给文章中每句话一个attention权重，根据问题选出最有可能包含答案的句子

机器阅读中的注意力机制

9

基于Attention机制的文本分类

Bi-LSTM+Attention就是在Bi-LSTM的模型上加入Attention层，在Bi-LSTM中我们会用最后一个时序的输出向量作为特征向量，然后进行softmax分类。

Attention是先计算每个时序的权重，然后将所有时序的向量进行加权和作为特征向量，然后进行softmax分类。

10

实践部分

基于Attention机制的文本分类

基于Attention机制的文本分类