【word】 一种高维数据聚类遗传算法.docVIP

一种高维数据聚类遗传算法 CN43—1258/TP ISSN1007—130X 计算机工程与科学 COMPUTERENGINEERINGamp;SCIENCE 2010年第32卷第8期 V01.32,No.8,2010 文章编号:1007—130X(2010)08—0094—04 一 种高维数据聚类遗传算法 AGeneticAlgorithmfor’ High——DimensionalDataClustering 孙浩军.熊琅环 SUNHao.j叫,XIONGLang-huan (汕头大学计算机科学系.广东汕头515063l (DepartmentofComputerScience.ShantouUniversity,Shantou515063.China) 摘要:聚类分析是数据挖掘中的一个重要研究课题.在许多实际应用中,聚类分析的数据往往具有很高的维度,例 如文档数据,基因微阵列等数据可以达到上千维,而在高维数据空间中,数据的分布较为稀疏.受这些因素的影响,许多对 低维数据有效的经典聚类算法对高维数据聚类常常失效.针对这类问题,本文提出了一种基于遗传算法的高维数据聚类 新方法.该方法利用遗传算法的全局搜索能力对特征空间进行搜索,以找出有效的聚类特征子空间.同时,为了考察特征 维在子空间聚类中的特征,本文设计出一种基于特征维对子空间聚类贡献率的适应度函数.人工数据,真实数据的实验结 果以及与k-means算法的对比实验证明了该方法的可行性和有效性. Abstract:Clusteringanalysisisanimportantsubjectindatamining.Inmanyrealapplications,theclusteringdataareU— suallyhighdimensiona1.Forexample,thedocumentdataandDNAmicroarraydatagenerallyhaveseveralhundredsoreven athousanddimensions.Whileinhighdimensionalspace,thedistributionsofthedataareusuallysparse;itmakesmostof thosetraditionalclusteringalgorithmswhichworkwellonlow-dimensionaldatainvalidforhigh-dimensionaldata.Tosolve suchaproblem,anewhigh-dimensionaldataclusteringapproachbasedongeneticalgorithmsisproposedinthispaper.The searchcapabilityofgeneticalgorithmsisexploitedtOfindtheeffectivefeaturesubspacesforclustering.InordertOstudythe characteristicsofdimensionsshowninclustering,thedegreeoffeatureswhichcontributetOsubspaceclusteringisdesigned asfitnessfunctioninthispaper.Theexperimentalresultsontheartificialdataset,real-lifedatasetandthecomparisonex- perimentwiththek-meansalgorithmindicatethefeasibilityandefficiencyof’theproposedapproach. 关键词:高维数据聚类;遗传算法;特征子空间 KeyWords:high-dimensiona1dataclustering;geneticalgorithm;featuresubspace doi:10.3969/j.issn.1007—130X.2010.08.026 中图分类号TP301.6文献标识码:A 1引言 高维数据聚类是聚类分析中的一个重要课题,它已在 市场分析,信息安全,金融,医学,工程学等方面得到了很广 泛的应用.现有的技术已经较成功地解决了较低维数据的 聚类问题.但是,对于高维数据,数据的分布特性与低维情 况相比有很大差异,使得许多算法失效,主要是因为:第一, “维数灾”问题,主要表现形式为数据分布稀疏,数据点之间 的相对距离差异随着维度的增长趋于零;第二,数据空间中 存在许多不相关的属性掩盖了要寻找的目标簇(它们往往 只存在于某些特定的属性子空间中)[1;第三,随着维数的 增加,聚类算法的时间代价呈维