实例依赖补标签学习算法研究及其在医疗图像分类中的应用.pdf

摘要

近年来，随着计算机技术的迅猛发展，深度学习成为各行各业关注的重点，

其中，数据标签是影响深度学习效果的关键因素。然而，获取每个实例的真实标

签往往需要耗费巨大的人力物力成本。为了解决这一问题，弱监督学习成为研究

学习，其中每个实例都与一个补标签相关联，该标签指示实例一定不属于的类别。

现有的CLL算法假设补标签是从实例的所有非真实标签中均匀采样获得的，

或者从某个仅与真实标签相关的非均匀概率分布中采样得到。然而，这些实例无

关假设通常不符合现实场景：现实中标注者对补标签的选取往往还与实例本身的

CLL，

IDCLL)，以与实例相关的非真实标签分布刻画补标签生成过程。进一步，本文提

出了实例依赖的补标签数据生成机制，并观察到现有CLL算法在实例依赖补标签

数据上的性能出现明显下降。通过对该现象的深入研究，我们发现：在实例依赖

假设下，现有CLL算法的补标签共享能力均有不同程度的下降，从而导致Logit

Margin减小，因此难以有效识别真实标签。为了解决该问题，本文引入

ComplementaryLogitMargin

样本间的补标签共享能力。为了有效地实现对CLML的最小化，本文提出了一种

新型的Complementary

从统计学角度推导了该损失的估计误差界。通过多个基准数据集上的大量实验可

知：在实例依赖假设下，与现有的CLL算法相比，本文所提出的COVR可以更

有效地降低CLML。

考虑到标注者在选取补标签时可能选择错误的情况，本文在实例依赖CLL基

础上引入了噪声实例依赖CLL，即某些实例的真实标签被错误的选为补标签。并

提出了噪声实例依赖补标签生成过程。进一步，我们分析了不同噪声率和不同算

法对分类准确率的影响，并比较了监督学习、CLL以及IDCLL对于噪声的鲁棒

性。最后，本文基于训练过程中噪声样本与干净样本的损失大小差异，提出了基

于损失的实例选择策略，并采用Ll正则化对模型进行惩罚。在多个基准数据集

上的实验结果表明，本文算法能够有效提升噪声实例依赖CLL的分类准确率。

最后，考虑到在医疗图像分类任务中，标签质量是影响分类模型效果的重要

因素，本文在ISIC2019皮肤病数据集的医疗图像分类任务中引入补标签学习，以

降低图像标注难度，并应用COVR损失求解实例依赖的医疗图像补标签分类问

题，验证了COVR损失在解决实际问题方面的有效性。

关键词：补标签学习；实例依赖；弱监督学习；标签噪声学习

II

ABSTRACT

Inrecenttheof

developmentcomputertechnology,deeplearning

years，withrapid

ofdataa

hasbecomethefocusofattentioninvarioustheis

industries，andlabelingkey

factortheeffectofthelabelof

ground-truth

affectingdeeplearning．However,obtaining

eachinstanceoftenhumanandmaterialcosts．Tosolvethis

hugeproblem，

requires

hasbecomethefocusofLabel

weakly