基于语义特征选取和改进k均值算法的文本聚类的研究.pdfVIP

基于语义特征选取与改进k均值算法的文本聚类研究 何晓亮 宋 威 梁久祯 江南大学物联网工程学院 无锡214122 摘 要 针对传统的k-means算法存在容易陷入局部最优以及对初始聚类中心的高度依赖性等缺陷，提出了一种 改进初始中心选取的新的k-means算法。由于词空间的文本聚类方法很难处理文本的高维特性和复杂语义性，因 此通过采用语义特征选取的方法从高维特征空间中提取文本向量的主要成分，从而实现文本输入空间的降维和语 义特征空间的抽取。实验结果表明：语义特征选取处理不仅可实现降维，大幅减少文本聚类的时间，而且能有效提 高聚类系统的准确性。另外，改进的k-means算法对整个聚类的效果也有明显的改善。将两者结合之后，聚类效果 更加显著。 关键词 k-means算法;文本聚类;语义特征选取 TP391 A ResearchofTextClusteringBasedonSemanticFeature SelectionandImprovedk-meansAlgorithm HEXiao-liang SONG Wei LIANGJiu-zhen SchoolofInternetofThingsEngineering,JiangnanUniversity,Wuxi214122,China Abstract Tosolvetheproblemofthedependenceoninitialclusterandthetendencytofallintolocaloptimumintra ditionalk-meansalgorithm,thispaperproposedanewk-meansalgorithmofimprovinginitialcentreselection.Bythe clusteringmethodofwordspace,itishardtodealwiththehighdimensioncharacteristicandcomplexcorrelationof thetext.Sothispaperwastryingtorealizethedimensionalityreductionofthetextinputspaceandtheextractionof semanticfeaturespacebyextractingthetextvectorfromthehighdimensioncharacteristicsspaceusingsemanticfea ture.Theexperimentresultshowsthatthesemanticfeatureselectionprocessingnotonlyrealizesdimensionalreduc tion,reducesthetimeofthewholeclusteringalgorithm,butalsoimprovestheaccuracyandvalidityoftheclustering system.Inaddition,thealteredk-meansalgorithmgreatlyimprovesthewholeclusteringresult.Aftercombiningboth methods,theclusteringeffectisimprovedmoresignificantly. Keywords k-meansalgorithm;Textclustering;Semanticfeatureselection l、 ．H一．^^_ 至。样本， 受，m的取 ≠，并尽可 舣 俯 采 基结合F 关性又！ 过去除I .iCheng-hua ithmsandan ization[-13.In YY.Granularc( LferenceonData ,uranceandData 6~1-12