半监督学习中非标记数据利用.pdfVIP

第30卷第l期 湖北大学学报(自然科学版) VoL30 No．1 Hubei Mar．，2008 2008年3月 Journalof University(NaturalScience) 文章编号：1000—2375(2008)01—0008一04 半监督学习中非标记数据的利用 罗进，周学君 (湖北大学数学与计算机科学学院，湖北武汉430062) 摘要：同时利用半监督学习中的标记数据与非标记数据，可以提高机器学习的能力．为了利用非标记数 据，我们将非标记数据所在的样本空间映射到标记样本空间．讨论如何利用非标记数据构造学习算法，并证明 所构造算法的收敛性． 关键词：半监督学习；正则化；非标记数据；覆盖数 中图分类号：TPl81文献标志码：A 1 引言 监督学习是对标记数据进行学习，而非监督学习是针对非标记数据进行学习．在很多实际问题中， 如数据分类与数据挖掘，往往有大量的未标记数据．另一方面，由于获取标记数据非常困难，所以在训练 数据中标记数据往往很少．因此同时对标记数据与未标记数据进行机器学习，即半监督学习是非常有意 义的研究课题．与监督学习相比，非监督学习缺乏精确的定义．为此，首先要找到一个好的模型对非标记 数据进行描述．最常用的是利用流形的方法来对非标记数据进行描述．将半监督学习与流形学习联系在 一起． ，』巳，，一，、2、 利用权值函数Wii=exp(一≥：兰笪_产)来对非标记数据进行标记，得到很好的实验结果． 、d一=一l 鳓 7 映射(LaplacianEigenmap)来对非标记样本点进行标记．这种算法与谱图理论有很紧密的联系，通过求 解稀疏矩阵的特征值问题解析地求出整体最优解．这些方法的特点是对嵌入映射或者低维流形作出某 种特定的假设，或者以保持高维数据的某种性质不变为目标，将问题转化为对应优化问题的求解．这些 算法都取得很好的实验结果．但是，这些算法是否收敛需要进一步探讨．本文将证明利用流形的方法对 非标记数据进行标记的算法是收敛的，从而证明了这些学习算法具有很好的推广能力． 2主要思想 监督学习的样本集由标记数据{(五，Yi)；五ER‘，YiEY}构成．监督学习的正则化算法，是指在一个 再生核希尔伯特空间(简写为RKHS)贸中，对样本集(毛，Y；)最小化真实风险 0 fll女· E：一m，∈i掣nE[(y一，(z))2]+A 收稿日期：2006—05—16 基金项目：国家自然科学基金资助课题 )，男，硕士生 作者简介：罗进(1975一 万方数据 第1期 罗进等：半监督学习中非标记数据的利用 9 这里J|·JI 所以用经验风险代替真实风险，问题转化为最小化经验风险 lI厂|l女． E，。：一mr∈i鬻n1靠蓦[厂(zi)一弘]2+A 时，易．。一E． 成．Belkin与Niyogi[2]等提出对于半监督学习的正则化，即最小化正则化风险： lI州2+A川州； (1) Er。。一m…inE[-(y--f(x))2]+h 现在的问题是当优一∞时，是否有B。。一E刖这就是本文要解决的问题． 假设标记样本在一个标记样本空间X中，即(毛，Y；)∈XXY，Y是目标空间．而非标记样本在非标 记样本空间叉中，即{≈)∈又．显然可以假设所有的标记样本也是非标记样本，即XcX．为了能够利用 非标记数据乃，首先要对它进行标记，即希望能找到映射于，使得于(≈)=yi．更进