基于注意机制的CNN优化及其应用.pdfVIP

基于注意机制的CNN 优化及其应用 摘 要 卷积神经网络（Convolutional Neural Networks, CNN ）以其强大的特征提取和 表达能力，在计算机视觉任务中得到了广泛地应用。然而，由于CNN 主要是利 用局部感知特性进行特征提取，导致其全局感知能力较差，进而影响了提取特征 的鲁棒性。近些年来，注意机制以其有效的全局感知特性，被成功地应用在自然 语言处理和计算机视觉等领域。因此，如何将CNN 的局部感知特性和注意机制 的全局感知特性有效结合，并设计相应有效的CNN 网络结构，成为了当前CNN 优化中的热点。 当前，最常用的基于注意机制的CNN 优化方法是使用注意力图对卷积层输 出的单尺度特征图加权，这类方法存在两个问题：1、直接对单尺度特征图进行 处理，导致生成的注意力图对特征中多尺度信息的关注能力较弱；2 、直接将注 意力图作用于特征图，导致融合时的计算量较大，需要在计算量与注意力图的准 确性进行折中。 为了解决上述问题，本文在以下几个方面展开研究，具体内容包括： 1、提出一种基于多尺度注意机制的CNN 结构优化算法，称之为多尺度注意 模块（Multi-Scale Attention Module, MSAM），针对已有方法只对特征中单一尺度 信息注意的问题。将注意模型引入多尺度 Res2Net 模块通道间信息交互的过程 中，利用Res2Net 模块的网络结构使注意力图能够基于不同尺度感受野的特征图 生成，进而让注意力图能够对有效对特征中多尺度信息进行关注。 2 、提出一种基于卷积核注意机制的CNN 结构优化算法，称之为卷积核注意 模块（Kernel Attention Module, KAM ），针对传统作用于特征图的注意模块 （Feature Attention Module, FAM ）为了减少参数及计算量，只能选择性的对特征 图的通道或空间维度加载压缩后注意力图的问题。KAM 改变注意力图作用位置， 首先对卷积核加载注意力图，然后使用处理后卷积核与输入特征的卷积操作得到 输出。该方法只需要生成卷积核尺度的注意力图不仅有效降低了计算量，而且得 益于卷积操作的特性，作用于卷积核的注意力图将以间接的形式同时影响卷积输 出特征图的通道和空间维度，从而避免丢失特征图通道或空间注意信息的丢失。 I 基于注意机制的CNN 优化及其应用 为了验证算法的有效性，本文将提出的注意力模块嵌入不同的 CNN 网络结 构中，并在不同的计算机视觉任务上进行相应的实验。实验结果表明，当使用 ResNet18 为基准网络时，在分类任务和语义分割任务上，MSAM 的分类准确率 能在不增加参数量的情况下，比Res2Net 模块分别提高0.42%和0.35% ，KAM 的 分类准确率能在降低计算量的情况下，比压缩和激励（Squeeze and Excitation, SE ） 模块分别提高1.09%和0.67% 。 关键词：注意机制；CNN ；多尺度；卷积核 II CNN optimization and its application based on attention mechanism Abstract Convolutional neural networks (CNN) has been widely used in computer vision tasks because of its feature extraction and expression ability. However, because CNN mainly uses local perceptual for feature extraction, its