基于局部重构与全局保持的半监督判别分析方法.pdfVIP

华 南 理 工 大学 学报 (自然科 学 版 ) 第 38卷 第 7期 JournalofSouthChinaUniversityofTechnology (NaturalScienceEdition) VO1．38 NO．7 2010年7月 July 2010 文章编号 ：1000-565X(2010)07—0045．05 基于局部重构与全局保持的半监督判别分析方法木 韦佳 杨创新 马千里 余国先 (1．华南理工大学 计算机科学与工程学院，广东 广州 510006；2．广东商学院 信息学院，广东 广州 510320) 摘 要：为克服线性判别分析(LDA)只能利用有标记样本的缺点，提 出一种基于局部重 构与全局保持的半监督判别分析(LRGPSSDA)方法．LRGPSSDA通过最小化局部重构误 差来确定邻域图的边权值，在保持数据集局部结构的同时保持其全局结构，具有对邻域参 数的选择不敏感、所得投影子空间的维数不受样本类别数的限制等特点．相较现有的半监 督判别分析方法(如 SDA和UDA)，LRGPSSDA的分类性能更好．在 YaleB和 CMUPIE标 准人脸库上的实验结果验证了该算法的有效性． 关键词：局部重构；全局保持；判别分析；半监督学习 中图分类号：TP391 doi：10．3969／j．issn．1000-565X．2010．07．008 在很多机器学习、模式识别和数据挖掘任务中 究者的关注 ，这种学习方式称之为 “半监督学习”． (如图像检索，人脸识别等)，人们所面对的数据常 近来，在半监督的情况下进行判别分析受到了 常具有 “小样本、高维数”的特点，如果不对这些数 越来越多的关注．其 中SDA(Semi—SupervisedDis— 据进行有效的维数约减，很容易出现 “维数灾难”问 criminantAnalysis)就是一种 比较有代表性 的方 题L1j．因此，维数约减的有效性是许多机器学习、模 法 J．该方法 旨在找到一个线性投影子空问，使得 式识别及数据挖掘算法成败的关键所在．主成分分 该子空间既能够体现有标记样本中的判别信息，又 析 (PCA)和线性判别分析 (LDA)是两个人们所熟 能够保持所有样本中的内在几何 (流形)结构．但是 知的维数约减方法 。J．其中PCA是一种无监督方 SDA也有一些不足之处：(1)SDA对邻域参数的设 法，它的目的是寻找在最小均方误差意义下最能够 置 比较敏感，并且对邻域图边权值的设定不能够准 代表原始数据的投影子空间；而LDA是一种有监督 确反映样本的局部几何结构，从而使得降维的结果 方法，它的目的是寻找使得类间距离与类 内距离之 不能准确的反映数据 的内在流形结构；(2)SDA只 比最大的投影子空间． 考虑 了保持样本中的局部几何结构而没有考虑全局 在许多实际问题中，人们常常面对着大量的未 几何结构，这就可能导致所得到的投影子空间不能 标记数据以及相对很少的有标记数据．在这种情况 够得到最好的判别效果；(3)与LDA存在的问题一 下，如果只使用少量的有标记样本，那么所训练出的 样，SDA的投影子空间的维数不能超过样本类别 学习系统可能会出现过拟合的现象，因而很难具有 数，即如果样本的类别数为C，那么SDA投影子空间 好的泛化能力；另一方面，如果只使用未标记样本，则 的维数最