基于信息熵与动态聚类的文本特征选择方法.pdfVIP

152 2015，51(19) ComputerEngineeringandApplications计算机工程与应用 基于信息熵与动态聚类的文本特征选择方法 奄 如 TANG Lili 重庆工商大学 融智学院，重庆 400033 RongzhiCollegeofChongqingTechnologyandBusinessUniversity,Chongqing400033，China TANG Lili．Textfeatureselectionmethodbasedon informationentropyanddynamicclustering．ComputerEngi· neeringandApplications，2015，51(19)：152—157． Abstract：Bymeansofafour．miningmodelwhichiSconstructedbasedonthestur ctura1characteristicsofscientificliter— atures，atextfeatureselectionmethodisproposedtoapply inclassificationofscientificliteratures．Theproposedmethod firstlydividesscientificliteratureintofourlayersaccordingtoitssturcture，andthenselectsfeaturesprogressivelyforthe formerthreelayersbyK-meansalgorithm ，andfinallyfindsoutthemaximum rfequentitemsetsoffourth layerbyAprori algorithm toactasacollectionoffourthlayerfeatures．M eanwhile，K—meansalgorithm isalsoimprovedwhichfirstlyuses infomr ationentropyempowertheclusteringobjectstocorrectthedistancefunction，andthenemploysempowermentfunc tionvaluetoselecttheoptimalinitialclusteringcenter,andsubsequentlyreducesalgorithm iterationsandlearningtimeby settingthestandardvalueforterminationconditionofthealgorithm andreducesinterferenceofdynamicclusteringby removingredundantinformationfrom thechanginginfomr ationtomakethealgorithm achievemoreaccurateandefficient clusteringeffect．So．itispossibleofrthisproposedmethodtofindfeaturesmoreaccuratelyintheliteraturecorpus．Exper— imentalresultsshow thattheproposedmethodisfeasibleandeffective，andhashigherperformancein scientificlitera— tureclassificationwhichiscomparedwiththepreviousmethods． Keywords：K-meansalgorithm；dynamicclustering；featureselection；informationentropy 摘 要 ：根据科技文献的结构特点，搭建了一个四层挖掘模式，提 出了一种应用于科技文献分类的文本特征选择方 法。该方法首先依据科技文献的结构将其分为四个层次，然后采用K—means聚类对前三层逐层实现特征词提取，最 后再使用Aprori算法找 出第四层的最大频繁项集，并作为第四层的特征词集合。在该方法中，针对K-means算法受 初始中心点的影响较大的问题，首先采用信息熵对聚类对象赋权的方式来修正对象间的距 离函数，然后再利用初始 聚类的赋权函数值选出较合适的初始聚类中心点。同时，通过为K—means算法的终止条件设定标准值 ，来减少算法 迭代次数，以减少学习时间；通过删除由信息动态变化而产生的