基于稠密类激活图的弱监督语义分割研究.pdf

摘要

弱监督语义分割旨在仅提供弱标注的情况下，实现对图像中目标对象的准确分

割，并赋予每个像素语义信息。其中图像级标签是最容易获取的一类弱标签，受到

了国内外研究人员的广泛关注。图像级标签不能确定目标对象所处的位置，因此需

要利用图像级标签生成类激活图来获取位置信息。但类激活图本身存在稀疏激活和

误激活的问题，由其生成的伪标签质量不稳定，不能作为语义分割网络的可靠监

督。本文针对以上问题，围绕稠密类激活图的获取方法展开研究，并在此基础上生

成高质量的伪标签，从而训练高性能的语义分割网络。本文主要研究内容如下：

1）本文提出一种显著性引导的目标互补隐藏弱监督语义分割算法。首先利用

显著图定位前景目标区域，然后对目标区域进行互补随机隐藏，获取互补图像对。

分别送入网络生成各自的类激活图，之后互补对的类激活图将融合以生成具有更完

整激活区域的类激活图，并将其作为监督从而提高网络获取稠密类激活图的能力。

其次，在类激活图生成过程中还采取了双重注意力进行修正，减少误分类像素的影

响。为了进一步提高伪标签的准确性和网络的分割性能，本文还提出一种标签迭代

精调策略，利用初步生成的伪标签训练分割网络，并通过分割网络的预测结果、显

著图和类激活图对伪标签进行迭代更新。最终在PASCALVOC2012数据集上进行

实验，类激活图与基线相比，平均交并比有10.21%的提升，语义分割结果与基线相

比，平均交并比有6.9%的提升。此外在COCO2014数据集上进行了多目标的语义

分割实验，平均交并比获得了0.5%的性能提升。

2）考虑到卷积神经网络生成的类激活图稀疏的原因之一是卷积操作的感受野

较小，本文提出一种融合全局信息的对比隐藏弱监督语义分割方法。首先通过前景

和背景的对比学习生成类别无关的激活图，用于指导目标互补隐藏模块，从而避免

对显著图的依赖。然后将目标互补图像对送入Conformer网络，利用CNN分支生

成类激活图，并通过目标互补隐藏监督策略增强网络的学习能力。同时，

Conformer中包含的Transformer分支可以为类激活图的生成提供丰富的全局信息，

有效扩大了激活区域。最后通过类无关激活图修正目标区域，获得高质量伪标签。

在PASCALVOC2012数据集上的实验表明，类激活图与基线相比有15%的提升，

语义分割结果与前述方法对比有1.1%的提升。同时在COCO2014数据集上，语义

分割性能和前述方法相比获得了1.2%的提升。

I

总之，本文针对弱监督语义分割的难点，提出两个算法，能在获取稠密类激活

图的基础上生成高质量伪标签,并通过实验证明了两个算法的有效性。

关键词：深度学习；弱监督语义分割；图像级标签；类激活图；注意力机制

II

ABSTRACT

Weaklysupervisedsemanticsegmentationaimstoachieveaccuratesegmentationof

targetobjectsinimagesandassignsemanticinformationtoeachpixel,onlywithweak

annotationsprovided.Amongthem,image-levellabelsarethemosteasilyaccessibletype

ofweaklabels,attractingwidespreadattentionfromresearchers.Image-levellabelscannot

determinethelocationofthetargetobject,thereforeitisnecessarytoutilizetheselabelsto

generateclassactivationmaps(CAMs)inordertoobtainpositionalinformation.However,

CAMs