掩模特征融合：实例分割新范式.pdfVIP

研究论文第51卷第2期/2025年2月/计算机工程

掩模特征融合：实例分割新范式

李伟康，张思全

（上海海事大学物流工程学院，上海200135)

摘要：实例分割任务是视觉场景理解的基本任务之一,现有的算法具有一定的相似性，通过梳理现有算法中的

共通性与差异性，抽象出一种新颖的实例分割范式：掩模特征融合（MFF）。该范式将实例分割任务分为语义无关

的掩模特征提取、语义相关的序列提取以及序列特征和掩模特征融合3个模块。进一步，根据新范式的结构特性

提出2项优化。首先，通过设计一个非局部全局偏置增强骨干网络对全局信息的关注，使掩模特征提取模块在网

络浅层可以提取到全局的信息，并且消除预训练权重带来的数据集固有偏置。其次，实验过程中观察到一些

Transformer模型在训练初期出现查询向量不稳定的现象，即多数查询向量的感兴趣区域(ROI)在每次交叉注意

力操作后会发生漂移现象。为了解决查询向量漂移的问题，针对序列提取模块提出一种去噪训练的方法，保证查

询向量的注意力在训练前期就可以保持在同一区域，从而加速Transformer解码器的收敛，并在其他参数配置相

同的情况下提高模型精度。实验结果证明了上述改进的有效性。在MS-COCO2017数据集上的实例分割任务

中，相比MMF范式的基础模型,增加了新的改进措施后,模型在掩模平均精度均值(mAP)指标上取得了5.0%的

显著性能提升。

关键词：实例分割范式；掩模特征融合；非局部全局偏置；去噪训练；查询向量漂移

中图分类号:TP18文献标志码：AD0l:10.19678/j.issn.1000-3428.0069013

MaskFeatureFusion:NewParadigmofInstanceSegmentation

LIWeikang,ZHANGSiquan*

(LogisticsEngineeringCollege,ShanghaiMaritimeUniversity,Shanghai200135,China)

[Abstract]Instancesegmentationisafundamentaltaskinunderstandingvisualscenes.Existingalgorithmsexhibit

certainsimilaritiesanddifferences.Byanalyzingthesesimilaritiesanddifferences,thispaperproposesanovel

instancesegmentationparadigmcalledMaskFeatureFusion(MFF).Thisparadigmdividestheinstance

segmentationtaskintothreemodules:extractionofsemanticallyindependentmaskfeatures,extractionof

semanticallyrelatedsequences,andfusionofsequencefeatureswithmaskfeatures.Buildingonthestructural

characteristicsofMFF,twooptimizationsareproposed.First,bydesigninganon-localglobalbias,thefocusof

thebackbonenetworkonglobalinformationisenhanced.Thisallowsthemaskfeatureextractionmoduletoaccess

globalinformationatshallownetworklevelsandmitigatesdatasetinherentbiases