基于模糊C均值和改进的LSA的文档聚类研究.pdfVIP

第 20卷 第 12期 计 算 机技 术 与 发 展 Vo1．2() No．12 2010年 l2月 C=()MPUTERTE(HNO 【J Y ANDDEVELOPMENT Dec． 2010 基于模糊 C均值和改进的LSA的文档聚类研究 胡永丽，龚沛曾 (同济大学 电子与信息工程学院计算机科学与技术系，上海 201804) 摘 要：文中研究的是文档聚类的方法，即将给定文档集合中的文档进行分类 ，以达到准确聚类的 目的。提 出了一种将模 糊C均值(、M)和改进的LSA(LatentSemanticAnalysis)相结合进行文档聚类的方法。采用改进的词语特征提取方法构 建词一文档矩阵，对该词 一文档矩阵进行奇异值分解，从传统的VSM 向量空间中提取文本的潜在语义空间，进而将高维 的文档向量映射为低维空问的语义向量 ，文档之间相似度的计算采用文档语义 向量的余弦表示。然后采用模糊 C均值根 据上述计算文档相似度的结果对文档进行聚类。针对校园论坛中的文档数据进行聚类，该方法降低了处理的复杂度同时 提高了相似度计算的准确性。实验结果表明该方法对目标文档的聚类有较好的效果，聚类准确性较高 关键词：模糊 C均值 ；LsA；文档聚类 中国分类号 ：HX391．1 文献标识码 ：A 文章编号：1673—629X(2010)12—0126—04 DocumentClusteringResearchBasedonFuzzyC 。-。M eansand ImprovedLatentSemanticAnalysis HidYong—li，GONG Pei—zeng (Dept．ofComputerScienceandTechnology，ElcetronicsandInformationEngineeringCollege， TongiiUniversity，Shanghai201804，China) Abstract：Thispaperisfocuesdonthemethodsofdocumentclustering，thatistoclassifythedocmu netsinthedocmu entsetsoasto achievetheaim ofaccurateclustering ．Proposedamethod whichcombinestheFuzzyC—meanswithimprovedLSAtododocumentclus— tering ．A new methodoffeatureextractionwasusde toconstructterm —documentmatrix．Dosingularvaluedeocmpositionforthen】a— trix，extractthedocumne t’slatentsemanticspacefrom thetraditionalVSM vectorspacesoastochangethedocmu entvectorofhighdi— mensiontosemanticvectoroflow dimension．Usecosinebetweenthedocmu entssemanticvectorstopresentthesimilaritybetweendocu— ments．ThenuseFuzzyC～rfleanstododocmu entclusteringbasedontheresultsofsimilarityealculationabove．Dotheexperimentonthe docmu entsdataofcampusforum，thismethod reducesthecomputerprocessing ocmplexityandimproves theveracityofsimilaritycalcula—