《 人工智能引论》课件 第8章 人工神经网络与深度学习.ppt

图8-46局部注意力机制8.5.5注意力机制局部注意力与全局注意力：局部注意力机制局部注意力机制每次只关注源序列中的一小部分信息如图8-46所示，该模型首先针对每个目标输出yt生成一个源序列的对齐位置pt，再以pt为中心创建大小为D的窗口[pt-D;pt+D]，并分别计算出窗口内子序列的局部注意力分数ats，从而求得对应窗口的上下文表示。局部注意力分数的计算公式为8.5.5注意力机制自注意力机制自注意力机制又称内部注意力，仅作用于编码器或解码器的内部。而对于分类任务而言，输入通常为一段序列，但输出则为一个实值。这时，自注意力机制只作用于编码器，考虑各个输