基于聚类和二进制PSO的特征选择.pdfVIP

第 20 期 计 算 机 技 术 与发 展 V0】．20 No．6 2010年 6月 C0MPlUrERTECHNoLoGYANDDEVELOPMENT Jun． 2010 基于聚类和二进制 PSO的特征选择 张家柏 ，王小玲 (中南大学信息科学与工程学院，湖南 长沙 410083) 摘 要：特征选择是模式识别及数据挖掘等领域的重要问题之一。特征选择不但可以提高分类精度和效率，也可以找 出 富含信息的特征子集。针对此问题，在分析了常用的一些特征选择算法之后，文中提出一种基于聚类和二进制PSO算法 的特征选择方法，首先基于特征之间的相关性聚类来进行特征分组及筛选 ，然后针对经过筛选而精简的特征子集采用二 进制粒子群算法进行随机搜索。实验结果表明，该算法可有效地找出具有较好的线性可分离性的特征子集，具有特征精 简幅度较大、运行效率较高等优点。 关键词 ：特征选择 ；k均值算法；相关性 ；粒子群优化算法 中图分类号 ：TP301．6 文献标识码：A 文章编号：1673—629X(2010)06—0025—04 A NovelAlgorithm Basedon K _。‘M eansClustering andBinaryParticleSwarm Optimization ZHANGJia—bai，WANGXiao-ling (DepartmentofInformationScienceandEngineering，CentralSouthUniversity， Changsha410083，China) Abstract：Featureselectionisoneoftheimportantproblemsinthepatternrceognitionnaddataminingareas．Forhighdimensionaladta featureeslectoinnotonlycanimprovetheaccuracyandefficiencyofclassification．butalsocandiscoverinformativefeaturesubset．The new faetureselectionmethodcombining k—mea／lsandPSOwaspro inthispaper，whichfirstfiltersfeaturebyk—nleans，andreal· izeclthenearoptimalfaeturesubsetsearchONthecompactfaeturesubsetbyPSOalgorithm．Theexperimentsshow thatthep!~x：e,edal- gorithm cangetagoodcompa ctfaeturesubsetandnmmoreefficiently． KeyWoIvds~featureselcetion；k—rne~Lrlsalgoritmh ；relevance；P~ ) O 引 言 以减少计算的工作量。 特征选择是模式识别与数据挖掘领域和重要数据 粒子群算法是一种进化计算技术L6J，同遗传算法 处理方法之一。大量高维数据对象的特征空间中含有 相比，它没有遗传算法的交叉和变异 ，而是粒子在解空 许多冗余特征甚至噪声特征 ，这些特征一方面可能降 间追随最优的粒子进行搜索。因此使用粒子群进化算 低分类或聚类的精度，另一方面会大大增加学习及训 法求解特征子集，可以避免巨大的搜索代价。在粒子 练的时间及空间复杂度。因此 ，在面对高维数据进行