基于样本间一致性的无监督域适应方法研究.pdfVIP

基于样本间一致性的无监督域适应方法研究

摘要

近年来，随着大数据、云计算以及计算机硬件设施的不断进步，深度学习的技术和

方法极大提升了模型性能。深度学习能够从海量数据中学习到关键信息，并且在计算机

视觉、自然语言处理等领域中均取得较为满意的成果。为了保证训练所学习到的分类模

型具有高可靠性和准确性，深度学习通常依赖于以下两个基本假设：（1）用于学习的训

练样本（源域）与测试样本（目标域）满足独立且同分布的假设；（2）必须使用大量的

带标签样本进行训练才能学习得到一个好的模型。但在现实场景中，拥有一个具有大量

的人工标记的数据集是不现实的，并且受外界因素的影响，源域和目标域之间往往具有

不同的特征分布，目标域可能会包含从不同角度或不同传感器收集到的数据。

因此，为了避免昂贵的人工标记工作并利用到与之相关联的标记数据集，研究人员

开展针对域适应的一系列相关工作。当前的域适应算法大多是通过距离度量或对抗等方

式学习域不变特征，但这些方法往往忽略了目标域数据中隐藏的分类信息。针对上述问

题，本文研究目标域缺失标注这种更为困难的无监督域适应场景，提出基于样本间一致

性的无监督域适应方法。通过计算目标域中样本的一致性损失，训练应用于无监督域适

应任务的分类器，使得目标域中的原始样本及其对应的扰动样本在最终预测结果上保持

一致性，帮助模型更好地适应目标域上的分类任务。具体来说，本算法在经典的MK-

MMD度量的基础上，充分考虑目标域的结构信息，并通过添加伪标签和设计合理的一

致性损失函数等手段进行训练。通过这些改进，本文模型在对齐领域特征分布的同时可

以充分利用目标域样本的特征信息，从而提高域适应效果。具体研究内容如下：

（1）针对无监督域适应中目标域缺乏标记样本的情况，本文提出了一种根据样本

的置信度来为未标记样本添加伪标签的方法，首先设定合理阈值，为置信度较高的目标

域样本添加相应的伪标签。之后，伪标签信息通过迭代训练不断更新，直到模型收敛于

最优解。通过合理利用目标域中的伪标签信息，有效地挖掘目标域中的潜在特征，提高

分类器识别目标域样本的准确率。

（2）现有无监督域适应方法中，无法有效学习到针对目标域图像分类具有鲁棒性

决策边界的分类器。为了进一步解决这个问题，本文在添加伪标签的基础之上，对于目

标域未标记样本，采用随机增强方法生成高质量的增强样本。通过分析原始样本和增强

样本之间的联系，构造合适的一致性损失函数，使得相同类别的样本在潜在子空间中尽

可能的靠近，以此增强所学表征的判别能力。将源域交叉熵损失、域混淆损失以及目标

哈尔滨工程大学专业学位硕士学位论文

域样本间一致性损失相结合，作为总损失用于模型的训练，提高模型的泛化性能。

本文在常见的无监督域适应数据集，包括数字分类数据集（SVHN、MNIST、USPS）

以及视觉对象分类数据集（Office-Home、ImageCLEF-DA）上进行对比分析实验。结果

表明，本文所提出的方法在这些公开数据集上均取得了良好的分类效果，从而验证了本

文的工作在无监督域适应任务中的有效性。

关键词：无监督域适应；伪标签；一致性训练；距离度量；数据增强

基于样本间一致性的无监督域适应方法研究

Abstract

Inrecentyears,thecontinuousadvancementofbigdata,cloudcomputing,andcomputer

hardwarefacilitiesgreatlyimprovestheperformanceofdeeplearningtechniquesandmethods.

Withhelpofmassivedata,deeplearningobtainssatisfactoryresultsinareassuchascomputer

visionandnaturallanguageprocessing.Inordertoensurethattheclassifierlearnedfrom

trainingarehighlyrelia