注意力机制加在什么位置.docx

注意力机制加在什么位置：

注意力机制可以加在编码层和解码层之间，甚至可以加在Auto-Encoder里面。

此外，深度残差收缩网络是一种特殊的注意力机制算法，实现了注意力机制下的软阈值化；把注意力机制嵌入到了残差模块里面。

视觉注意力机制：

视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。

这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段，是人类在长期进化中形成的一种生存机制，人类视觉注意力机制极大地提高了视觉信息处理的效率与准确性。