SE：通道注意力模块【附Pytorch实现】.pdfVIP

SE ：通道注意⼒模块【附Pytorch实现】 1、动机 CNN中的核⼼操作就是卷积，早期⼤多研究都在探索如何增强空间编码能⼒，以提升CNN的性能。这篇⽂章探索了通道上的注意⼒，明确 地建模通道间的依赖关系，并提出了⼀个新颖的模块，称为SE-block。 2、⽅法 SE的架构如上图所⽰，简单描述为： 对于⼀个输⼊X，其经过卷积之后得到⼀个feature map（U），对于该feature map即可接上⼀个SE块，来附加上通道注意⼒； 对于U，先将其每个通道的空间信息压缩到⼀个单值，也即从H*W*C⼤⼩的U得到了1*1*C⼤⼩的向量； 然后，对该向量应⽤⼀组FC层进⾏权重调整，得到⼀个1*1*C的通道注意⼒向量； 最后，将通道注意⼒向量加权到U，形成⼀个加权后的feature map。 可以看出，SE的原理还是⾮常简单，总的来说，SE就是对每个通道上的权重进⾏了显式建模，然后再对原feature map加权，使其每个通 道具有不同的重要程度，也即有了通道注意⼒机制。 3、 Pytorch 实现 下⾯给 出SE模块的Pytorch实现，可以将下⾯ 的代 码作为 插件 ⽤于 任 意feature map之后，以增强其通道注意⼒。 import torch from to