面向视觉识别检测的自监督领域自适应方法.pdfVIP

摘要

深度神经网络的训练往往需要大量有标签的数据。为了减少提供大量有标签

数据所带来的成本，研究者们提出了一系列领域自适应算法，探索将有标签的源

域上的知识迁移到无标签的目标域上。然而，这些方法走向实际应用时存在两个

关键挑战：一是传统的领域自适应算法在对齐不同领域的特征分布时，难以维护

好目标域样本的类别结构信息，导致其在具体任务中的判别能力变弱；二是在数

据隔离的场景下，源域数据和目标域数据无法直接进行匹配和对齐，目标域样本

表征的判别能力更难得到保证。尽管最近有工作提出基于伪标签技术解决该问

题，并在图像识别任务中取得了不错的实验结果，但在面对伪标签质量难以控制

的视觉任务例如目标检测时，这类方法难以奏效。

针对上述研究中的挑战，论文结合不同视觉任务的特点，分别提出了一种自

监督领域自适应算法增强目标域样本表征的判别能力。具体开展工作如下：

在源域数据和目标域数据非隔离的设定中，本文以图像识别为任务场景，提

出利用自监督学习中的对比学习构建类别原型表征，并将其作为参照物衡量成对

的目标域样本的相似性。在此基础上，本文提出了一个结构损失使相似的目标域

样本在特征空间更近，不相似的样本在特征空间更远。实验表明，通过维护这种

不同类别间的结构信息，本文算法有效地增强了目标域样本表征的判别能力。

在源域数据和目标域数据相互隔离的设定中，本文以伪标签情况复杂难控的

目标检测为任务场景，提出了利用自监督代理任务进行辅助对齐的算法。算法通

过自监督的图像旋转角度预测任务，让预训练好的源域模型对目标域数据分布进

行了学习。在此基础上，本文提出了域不变实例挖掘策略，从丰富的源域数据中

挑选具有良好域不变特征的实例样本对模型进行微调，在源域数据和目标域数据

无法汇聚的限制下实现了特征的对齐。通过对域不变实例的再学习，目标域实例

级别样本表征的判别能力得到了增强。多个公开基准数据集上的实验结果表明了

本文所提算法的有效性。

关键词：领域自适应，自监督学习，图像识别，目标检测

I

ABSTRACT

Thetrainingofdeepneuralnetworksoftenrequiresalargeamountoflabeleddata.

Toreducethecostofprovidinglargeamountsoflabeleddata,researchershavepro-

posedaseriesofdomainadaptationalgorithmstoexplorethetransferofknowledge

fromlabeledsourcedomainstounlabeledtargetdomains.However,therearetwokey

challengeswhenthesemethodsareappliedtopracticalapplications.First,thetraditional

domainadaptationalgorithmisdifficulttomaintainthecategorystructureinformation

ofthetargetdomainsampleswhenaligningthefeaturedistributionofdifferentdomains,

resultingintheweakeningofitsdiscriminationabilityinspecifictasks.Second,inthe

scenarioofdataisolation,thesourcedomaindataandthetargetdomaindatacannotbe

directlymatchedandaligned,andthediscriminantabilityofthetargetdomainsample

representationismoredifficulttobeguaranteed.Althoughrecentworkhasproposed

tosolvethisproblembasedonpseudo-labeltechnologyandachievedgoodexperimen-

talresultsinimagerecognitiontasks,suchmethodsaredifficulttoworkinthefaceof

visua