《基于改进聚类算法的网络舆情分析系统研究》.pdfVIP

JOURNALOFTHECHINA SOCIETY FORSCIENTIFIC 情 报 学 报 ISSN1000—0135 AND TECHNICAL INFORMATION ISSN 1000—0135 第33卷 第 5期 530—537，2014年5月 Vo1．33 No．5，530—537 May 2014 doi：10．3772／j．issn．1000—0135．2014．05．008 基于改进聚类算法的网络舆情分析系统研究 ’ 王旭仁 李 娜 何发镁 王彦丽 宋 蓓 (1．首都师范大学 信息工程学院，北京 100048；2．北京理工大学 图书馆 ，北京 100081) 摘要 针对互联网舆情挖掘领域的特点，提出了一种基于向量空间模型VSM的文本聚类算法STCC(Similarity ThresholdControlClusteringBasedVSM)。该算法按照层次聚类从下至上凝聚的策略，获取初始簇信息，然后根据 K— means算法的思想 以设置的聚类相似度 阈值作为度量来合并簇 。该算法结合层次聚类和 K-means算法 的优点 ，克 服其缺点。与层次聚类相 比，每一次聚类时不需要 比较所有簇之间的相似度 ，降低 了时间复杂度 ，提高了聚类的效 率 ；与 K—means算法相比，不需要确定 值 ，灵活性更高 。通过实验表 明，该算法聚类效果好 ，实用性高，适合大规 模 的文本聚类 。 关键词 互联网舆情 数据挖掘 关键词提取 文本聚类 Research and Implementation ofDesktop Search EngineBased on TikaandLucene WangXuren ，LiNa ，HeFamei，W angYanliandSongBei (1．CollegeofInformationEngineering，CapitalNormalUniversity，Beijing100048； 2．Library，BeijingInstituteofTechnology，Beijing100081) Abstract Byanalyzingtheexistedclusteringalgorithms anew textclustering algorithm ，which usessimilarity ， thresholdcontrolclusteringbasedVSM (STCC)，isproposedinthispaper．Thealgorithm isbasedonthehierarchical clusteringbottom tOtopstrategytogettheinformationofprimaryclustersandcanmergeclustersinathresholdofclustering similarityaccordingtoK—means．Thealgorithm overcomestheshortcomingsofcalculatingthesimilarity inaU clusterswith every clusteringandpre—determining thevalueK．Theexperimentalresultsshow thatthealgorithm canreducethetime complexity，improvetheclusteringefficiency，ismoreflexibleandmoreapplicable． Keywords internetpublicopinion，datamining keywordsextraction，textclustering