一种relieff特征估计方法在无监督流形学习中的应用-山东大学学报.pdfVIP

　第４０卷　第５期 山　东　大　学　学　报　（工　学　版） ２０１０年１０月　 　 　　 Ｖｏｌ．４０　 Ｎｏ．５　　 　ＪＯＵＲＮＡＬＯＦＳＨＡＮＤＯＮＧＵＮＩＶＥＲＳＩＴＹ（ＥＮＧＩＮＥＥＲＩＮＧＳＣＩＥＮＣＥ） Ｏｃｔ．２０１０　 　文章编号：１６７２３９６１（２０１０）０５００６６０６ 一种ＲｅｌｉｅｆＦ特征估计方法在无监督流形 学习中的应用 谭台哲，梁应毅，刘富春 （广东工业大学计算机学院，广东 广州５１０００６） 摘要：针对流形学习存在的对噪声敏感、易受缺失值影响问题以及现实世界数据的结构复杂性和稀疏程序大等问 题，提出引入ＲｅｌｉｅｆＦ特征估计，即应用ＲｅｌｉｅｆＦ在流形学习中。实验分４种情况进行：一是不使用特征提取方法； 二是仅使用ＲｅｌｉｅｆＦ特征估计方法；三是仅使用有代表性的局部线性嵌入算法；四是使用改进算法。结果表明，改 进算法得到的分类准确率分别比单纯使用ＲｅｌｉｅｆＦ特征估计方法和局部线性算法都要高。 关键词：特征选择；ＲｅｌｉｅｆＦ；流形学习；分类 中图分类号：ＴＰ３０１　　　文献标志码：Ａ ＡｐｐｌｉｃａｔｉｏｎｏｆｔｈｅＲｅｌｉｅｆＦｆｅａｔｕｒｅｅｖａｌｕａｔｉｏｎｉｎ ｕｎｓｕｐｅｒｖｉｓｅｄｍａｎｉｆｏｌｄｌｅａｒｎｉｎｇ ＴＡＮＴａｉｚｈｅ，ＬＩＡＮＧＹｉｎｇｙｉ，ＬＩＵＦｕｃｈｕｎ （ＦａｃｕｌｔｙｏｆＣｏｍｐｕｔｅｒ，ＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｇｕａｎｇｚｈｏｕ５１０００６，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｓｒｅｇａｒｄｓｔｏｔｈｅｎｏｉｓｅｓｅｎｓｉｔｉｖｅ，ｖｕｌｎｅｒａｂｌｅｔｏｔｈｅｍｉｓｓｉｎｇｖａｌｕｅｓｐｒｏｂｌｅｍ，ｔｈｅｃｏｍｐｌｅｘｉｔｙａｎｄｔｈｅｌａｒｇｅ ｓｐａｒｓｅｎｅｓｓｏｆｒｅａｌｗｏｒｌｄｄａｔａ，ＴｈｉｓｓｔｕｄｙｉｎｔｒｏｄｕｃｅｓｔｈｅＲｅｌｉｅｆＦｆｅａｔｕｒｅｅｖａｌｕａｔｉｏｎ，ｗｈｉｃｈｃｏｕｌｄｂｅａｐｐｌｉｅｄｉｎｔｏｍａｎｉｆｏｌｄ ｌｅａｒｎｉｎｇ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｓｗｅｒｅｄｉｖｉｄｅｄｉｎｔｏｆｏｕｒｃａｓｅｓ：ｏｎｅｉｓｎｏｔｔｏｕｓｅａｎｙｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎａｌｇｏｒｉｔｈｍ；ｏｎｅｉｓｔｏｕｓｅ ｏｎｌｙＲｅｌｉｅｆＦｆｅａｔｕｒｅｅｖａｌｕａｔｉｏｎ；ｏｎｅｉｓｔｏｕｓｅｏｎｌｙｔｈｅｒｅｐｒｅｓｅｎｔａｔｉｖｅｌｏｃａｌｌｙｌｉｎｅａｒｅｍｂｅｄｄｉｎｇａｌｇｏｒｉｔｈｍ；ａｎｄｔｈｅｌａｓｔ ｏｎｅｉｓｔｏｕｓｅｂｏｔｈ．Ｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｔｈｅｃｌａｓｓｉｆｙｉｎｇａｃｃｕｒａｃｙｒａｔｅｏｂｔａｉｎｅｄｂｙｔｈｅｉｍｐｒｏｖｅｄａｌｇｏｒｉｔｈｍｗａｓｈｉｇｈｅｒｔｈａｎ ｔｈａｔｔｈｅｏｂｔａｉｎｅｄｂｙｔｈｅＲｅｌｉｅｆＦｏｒｌｏｃａｌｌｙｌｉｎｅａｒｅｍｂｅｄｄｉｎｇｒｅｓｐｅｃｔｉｖｅｌｙ． Ｋｅｙｗｏｒｄｓ：ｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎ；Ｒｅｌｉｅｆｆ；ｍａｎｉｆｏｌｄｌｅａｒｎｉｎｇ；ｃｌａｓｓｉｆｉｃａｔｉｏｎ ０　引言 在机器学习和数据挖掘领域，虽然已经提出了很多方法，如关联规则和相关分析、分类和预测、聚类等， 但是在实际应用中，数据预处理仍影响着这些方法性能的稳定。特征选择或特征抽取处于数据预处理阶段， ［１］ 成为继数据清理（填充缺失值、光滑噪声并识别离群点和纠正不一致性） 之后知识发现的又一重要步骤。 特征选择是从一个给定的数据集中找出一组强相关性的特征子集或者能够代表原来大部分重要信息的数据 子集。通常，按照算法是否独立，分为过滤式（ｆｉｌｔｅｒ）和封装式（ｗｒａｐ