基于标签不完全数据的弱监督学习方法.pdfVIP

摘要

摘要

弱监督是指在训练过程中使用相对较为不精确或不完备的标签信息来指导

模型学习。相对于监督学习，弱监督学习更加灵活，并且更符合实际场景中标注

数据的获取难度。本文针对以下两种数据情形下的弱监督问题展开研究，分别

是少量数据标签已知是负类和少量数据标签已知但不止一个类别。

对于第一种数据情形，深度支持向量描述（DeepSupportVectorDataDescrip-

tion，DeepSVDD）是常用的一种基于支持向量机的深度模型，它是一种有效的

异常检测方法，特别适用于具有大量正常样本和相对较少异常样本的情况。但

是DeepSVDD仅使用正类数据建模，没有利用所有的数据信息，这也导致它的

分类边界无法体现出间隔最大化的思想。此外，它的求解算法不够精确，使用正

类样本经神经网络映射后的均值作为超球中心，然后通过分位数回归估计超球

半径，这样得到的分类器参数值是不够精确的。为解决上述问题，本文提出了可

解释小球大间隔网络（InterpretableDeepSmallSphereandLargeMarginNetwork，

ID-SSLMN）。模型的主要思想是首先利用神经网络将可获得的数据映射到高维

空间，然后在高维空间中构建一个超球。这个超球可以将正类样本包裹在球内，

将负类样本排除到球外。该模型在训练时加入了少量可获得的负类样本，通过最

大化正类样本与负类样本之间的间隔来更加细化分类边界。此外，受可解释神

经聚类方法的启发，本文还探索了一种新颖的算法。通过将分类器参数融入到

神经网络中，用来解决模型参数问题。通过统一的反向传播来求解网络和分类

器的参数。这种方法不仅能同时更加精确求解所有参数，还能让神经网络最后

一层参数具有可解释性。本文的算法为基于距离的深度学习方法的参数精确估

计提供了新的见解。另外，本文在2个模拟数据集，3个图像数据集和4个UCI

数据集上比较了所提出的方法与其他7种方法的曲线下面积（AUC）值。其中

ID-SSLMN取得了最先进的结果，在CIFAR10数据集上的AUC值相较于Deep

SVDD方法平均提升了22.44%。

对于第二种数据情形，程序性弱监督是较为先进的一类模型，它的关键挑战

I

摘要

是如何有效地聚合不同来源的弱信号。对抗标签学习（AdversialLabelLearning，

ALL）是一种标签模型和终端模型联合学习的程序性弱监督框架，它的模型性能

依赖于分类器模型的参数化，而且该模型需要为不同的数据集寻找合适的误差

边界，模型泛化能力较差。本文针对上述情况提出了L2对抗标签学习框架（L2

AdversialLabelLearning，LALL）。它假设可获得关于数据标签的一些弱信号。模

型的主要思想是利用弱信号构建一个可行标签约束空间，然后在这个空间内通

过损失最大化学习一个质量最差的标签（对抗标签），再利用对抗标签通过损失

最小化学习一个质量最好的分类器。本文使用L2损失作为训练的损失函数，然

后为约束添加松弛变量，使得模型可以自适应地调整约束边界的大小。此外，本

文还考虑弱信号会放弃标记一些样本的情况，这样的设置更符合实际生活可获

得的弱信号。最后，本文使用逻辑回归和支持向量机这两种模型作为终端分类

器，提出了基于逻辑回归的L2对抗标签学习方法（L2AdversialLabelLearning

withLogisticRegression，LALL-LR）和基于支持向量机的L2对抗标签学习方法

（L2AdversialLabelLearningwithSupportVectorMachine，LALL-SVM）。这两种

方法在7个数据集上进行了数值实验，其中LALL-LR在MNIST数据集上相较

于原来的ALL模型ACC值最大提高了10.45%。

关键字：弱监督学习；标签不完全；神经网络；支持向量机

II

Abstract

WeaklySupervisedLearningMethodswith