LAPLACIAN正则项半监督不平行超平面分类机 .pdfVIP

摘要：本文通过引入拉普拉斯（laplacian）正则项，针对半监督分类问题我们建立了基于拉

普拉斯正则项的半监督不平行超平面分类机。和经典的双支持向量机相比，该算法不仅继承

了不平行超平面决策的优点，并且将其推广到了半监督分类问题中。最后在人工数据上进行

数值实验，与拉普拉斯双支持向量机和拉普拉斯支持向量机做比较，数值结果表明我们提出

算法的可行性和有效性，特别是对于交叉型数据集，基于拉普拉斯正则项的半监督不平行超

平面分类机具有明显较高的分类精确度。

关键词：支持向量机半监督分类问题拉普拉斯正则项不平行超平面分类机

中图分类号：tp181文献标识码：a文章编号：1007-9416（2016）06-0221-04

1引言

机器学习在人工智能的研究中具有非常重要的地位。支持向量机是vapnik等在统计学习

理论基础上发展起来的针对小样本的机器学习方法[1]。该方法由于具有较强的泛化能力、方

便对高维的数据进行操作而得到了日益广泛的研究和应用。传统的有监督的分类方法，虽然

能够有效地解决各种实际问题，但是需要事先对大量样本进行标记以获取足够的训练样本，

代价高，效率低。因此，根据实际需要研究人员提出了一些半监督支持向量机分类方法。

bennett，k.，demiriz，a.于1999年提出了半监督支持向量机（s3vm[2]），它基于聚类

假设，试图通过探索未标记数据来规范调整决策边界，从而提高运算的准确度。21世纪以来，

melacci，s.，belkin，m提出了拉普拉斯（laplacian）支持向量机[3]，主要是通过图的

拉普拉斯矩阵来探索数据的流形结构，通过对无标记的数据找到合适的类别，以使它们与已

标记的数据和潜在的图的结构的不一致性最小化，从而提高了预测精确度。

本文将拉普拉斯（laplacian）正则项引入到不平行超平面分类机[4]之中，建立了拉普

拉斯正则项的半监督不平行超平面分类机。同时，在数值试验中，从精度和速度上，和经典

的拉普拉斯正则项支持向量机和拉普拉斯正则项双支持向量机做了对比，表明了提出的算法

的优良性。

2背景知识

4数值实验

图1表示lap-svm，lap-tsvm和lap-npsvm的分类比较，小正方形代表有标签正类样本

点，大正方形代表无标签正类样本点，小圆代表有标签负类样本点，大圆代表无标签负类样

本点。

lap-tsvm和lap-nhsvm做对比，从图1可以看出lap-nhsvm具有明显比较好的分类精度，

能够更好的利用未标签的数据，从而使分类效果更好。

在下面表1和表2的实验中，我们利用uci数据中的六个数据来做数值实验，包括

diabetes，german，ionosphere，sonar，australian，heart。在机器学习中，这些数据经

常会被用来检测算法的优劣，在实验中，取每个数据集的40%作为有标签的样本集，30%作为

无标签的样本集，进行十次试验，取十次实验结果的平均值加减方差构成。对于cpu时间，

同样取十次实验结果的平均值。如图所示，黑体表示最高精确度对应的数据，表1表示线性

情形时，lap-svm，lap-tsvm和lap-nhsvm的比较，表2表示非线性情形时，lap-svm，lap-tsvm

和lap-nhsvm的比较，从实验结果可以明显的看出，对于大部分数据集，拉普拉斯不平行超

平面分类机具有更高的分类精确度，例如，对于lonosphere数据集，lap-nhsvm对应的精确

度为88.32%，而lap-svm，lap-tsvm对应的精确度远小于它，另一方面，从下表可以看出，

lap-nhsvm对应的cpu时间要比lap-svm的快速，却比lap-svm和lap-tsvm的精确度高。

5结语

在本文中，提出了基于拉普拉斯正则项的半监督不平行超平面分类机，从数值实验可以

看出，提出的分类方法具有较高的分类精确度，尤其对于某些数据集，例如交叉数据集，我

们的算法可以得到更精准的结果，因此我们可以看出，本文提出的半监督不平行超平面分类

方法值得肯定。