具有可解释性的超分辨率语义分割方法研究.pdf

摘要

随着近些年计算机视觉的发展，与人类具有不同感知方式并且提供像素级别图像理解的

语义分割（SemanticSegmentation）技术在该领域扮演着重要的角色。随着以卷积神经网络

（CNN）为基础的深度学习方法的高速发展，语义分割技术在地质检测、自动驾驶、面部分

割、服装分类，以及精准农业的领域取得了相当显著的成果。随着语义分割精度的不断提升，

势必需要更深，更复杂的卷积神经网络以及越来越多的参数，所以各类轻量级的语义分割方

法得到广泛关注，但其为了弥补与最优方法的分割精度差距往往会输入高分辨率的图像，提

高分割精度的同时带来了计算量增加的问题。因此，在不增加额外计算量的情况下，提高轻

量级语义分割精确度的研究具有重要的意义。且越来越复杂的卷积网络也代表着网络的黑盒

问题更加严重，无法得到良好解释的深度卷积模型影响着模型工作的置信度，亟需一套有效

的方法来解释模型工作的原理。

本文针对上述问题，提出了低分辨率环境下且不额外增加计算量的双边语义分割方法以

及不再局限于分类任务中的基于类激活图的可解释性方法。

本文提出的适用于低分辨率环境下的双边语义分割方法，在超分辨率技术的基础上，设

计了注意力支路来提高整个模型分割的精度。该语义分割模型主要由两条支路组成，第一条

支路相当于一个管道，可以放置当前任意流行的基于编码-解码结构的语义分割网络。第二条

支路先通过注意力机制完善特征图之后通过超分辨率的方法通过特征图重建高分辨率图像，

补充细粒度信息与结构信息。两条支路最后汇流于融合模块，通过第二条支路指导第一条支

路学习的方式，提高语义分割方法学习的精度，且可以在验证集移除第二条支路提高运行效

率。同时解码器得到的输出图像，经过一层上采样得到与原图一样大小的输出，充分利用原

图的真实区域。

对于语义分割任务中的可解释性方法，本文设计了以消融方法为主的可解释性方法，可

以运用于语义分割模型中的任意卷积层。通过重置任一卷积层的某一个通道的卷积参数，之

后使用当前模型参数进行语义分割，将得到的某一类别在当前模型参数下的平均交并比与未

重置卷积参数的原始模型输出的平均交并比做比较，通过一定方式分析获得当前通道为当前

分割任务做出的贡献以获得当前通道的类激活图权重，之后将卷积层激活图通过线性加权的

方式得到该卷积层的关注点热力图，与目标识别方法下的可解释性方法不同，此时可以获得

等同于目标类数量的关注点热力图，借此以详细的观察分析模型在某一卷积层时对任意目标

类的关注点。同时通过对该方法通过了置信度检测、完整性检查等可解释性方法的评估。

关键词:注意力机制，超分辨率，类激活图，语义分割，可解释性

Abstract

Withthedevelopmentofcomputervisioninrecentyears,semanticsegmentationtechnology

thathasdifferentperceptionmodesfromhumansandprovidespixellevelimageunderstandingplays

animportantroleinthisfield.Withtherapiddevelopmentofdeeplearningmethodsbasedon

convolutionalneuralnetworks(CNN),semanticsegmentationtechnologyhasachievedsignificant

resultsinthefieldsofgeologicaldetection,autonomousdriving,facialsegmentation,clothing

classification,andprecisionagriculture.Withthecontinuousimprovementofsemanticsegmentation

accuracy,itisinevitablethatdeeperandmorecomplexconvolutionalneuralnetworksandmoreand

moreparametersar