自然语言处理中attention机制.pptxVIP

NLP中的Attention机制介绍;复习 Attention机制通用定义 Attention score的计算变体 更多attention种类 总结;;利用softmax函数： attention scores转化为概率分布;按照上一步概率分布： 计算encoder的hidden states的加权求和;复习 Attention机制通用定义 Attention score的计算变体 更多attention种类 总结;Attention机制的一个更加通用的定义（课程里面的定义）;从定义来看Attention的感性认识;复习 Attention机制通用定义 Attention score的计算变体 更多attention种类 总结;针对attention向量计算方式变体;Soft attention;Hard attention;local attention （半软半硬attention）;动态attention、静态attention、强制前向attention;针对Attention score的计算方式变体;点积 attention score（Basic dot-product attention）： 这个就是我们常见的attention score计算方式 乘法 attention score （Multiplicative attention）： 加法 attention score （Additive attention: ;复习 Attention机制通???定义 Attention score的计算变体 更多attention种类 总结;Self attention 思想：Self attention也叫做intra-attention在没有任何额外信息的情况下，我们仍然可以通过允许句子使用self attention机制来处理自己，从句子中提取关注信息。 它在很多任务上都有十分出色的表现，比如阅读理解 (Cheng et al., 2016) 、文本继承 (textual entailment/Parikh et al., 2016) 、自动文本摘要 (Paulus et al., 2017) 。;Self attention计算方式;Self attention计算方式;Key-value attention Key-value attention 是将hi拆分成了两部分[key_i;value_i]，然后使用的时候只针对key部分计算attention权重，然后加权求和的时候只使用value部分进行加权求和。公式如下，权重计算： ;Attention is all you need 中的multi-head attention部分;Attention is all you need 中的multi-head attention部分;代码实现;总结