跨特征层信息融合的目标语义分割方法研究.pdfVIP

摘要

摘要

语义分割任务要求根据图像中每个像素所属的感兴趣目标给像素赋予标签，

使得不同语义种类的目标能够在图像上区分开来。语义分割可以看成是一个像素

级分类问题，其基本思想是对输入图像产生高语义特征，同时保持高空间分辨率，

以获得稠密分割结果。该任务面临的主要挑战如下：（1）上下文聚合问题。图像

中的像素点并不孤立，像素与像素之间存在语义关联性。位于同一个目标类区域

的像素应该具有相似的语义表征，而位于不同目标类区域的像素则应当不具备语

义相似性，有效建模像素特征间的上下文关系是极具挑战性的。（2）计算资源问

题。语义分割网络为了提升分割精度，通常使得高语义特征保持较高的通道维数

和空间分辨率，这显著增加了计算资源开销。本文重点研究跨特征层信息融合的

方法以聚合多层特征上下文信息，以及语义分割头的轻量化以降低模型的计算复

杂度。本文的主要工作总结如下：

1.OCRNet（Object-ContextualRepresentationNetwork）通过目标类特征来描

述像素特征，在语义分割任务上表现优异。然而OCRNet忽略了输入图像中存在

的类别和不存在的类别，其对应的目标区域特征所捕获的信息是有区别的。本文

分析了两者之间的差异性，认为存在的类别所对应的区域特征具备类别语义性，

而不存在的类别所对应的区域特征捕获的是像素特征的上下文依赖。本文提出区

域特征分类策略，将目标区域特征划分成语义类别向量和全局上下文向量，并融

合跨特征层信息丰富全局上下文向量建模的像素相关性。

2.语义分割网络通常将主干网络输出特征的维度设置为512维，为了实现语

义分割头的轻量化，本文将其修改成256维，这导致了模型分割精度的下降。本

文提出用非对称类别注意力机制代替原始的类别注意力机制，前者有着更少的参

数量，而且缓解了特征维度降低带来的性能衰减。另外，本文引入了语义类别权

重，用于增强语义类别向量的语义表达能力。

3.本文从上下文聚合和模型轻量化两个角度出发，搭建了一种新颖的语义分

割网络结构。与MMSegmentation复现的OCRNet相比，本文提出模型的分割头在

参数量、内存占用、浮点计算量上都仅为OCRNet分割头的1/2，而且本文方法的

mIoU指标在Cityscapes验证集上比OCRNet高了0.24%，实验结果表明本文算法

实现了分割效率和分割性能的良好平衡。

关键词：语义分割，上下文聚合，模型轻量化，区域特征分类，类别注意力机制

I

ABSTRACT

ABSTRACT

Thesemanticsegmentationtaskrequiresthateachpixelintheimageislabeledac-

cordingtotheobjectofinteresttowhichitbelongssothatobjectsofdifferentsemantic

categoriescanbedistinguished.Semanticsegmentationcanbeperceivedasapixel-level

classificationproblem,whichrequiresgeneratinghigh-levelsemanticfeaturesforeach

pixelwhilemaintaininghighimageresolutiontoobtaindensesegmentationresults.The

mainchallengesofthistaskareasfollows:(1)contextaggregationproblem.Pixelsinthe

imagearenotisolated,andtherearesemanticcorrelationsbetweenpixels.Pixelslocated

onthesameobjectclassregionshouldhavesimilarsemanticrepresentations,whilepixels