不同距离测度的k-means文本聚类研究.pdfVIP

软件 2015 年第 36 卷 第 1 期 SOFTWARE 国际IT 传媒品牌 不同距离测度的 K-Means 文本聚类研究 陈磊磊 (北京邮电大学计算机学院 北京 100876) : 近年来，互联网和电子商务企业堆积了海量文本文档类型的数据，如何通过有效的手段对这些数据进行整理， 并进行真正有质量的数据挖掘已经成为计算机科学关注的焦点。本文对文本数据之间的相似性进行了研究，并采用 VSM 技 术和 TF-IDF 加权策略对文本文档进行了预处理。然后，采用不同测度距离作为相似性度量对数据进行了 K-Means 聚类实 验，并对实验结果进行分析和总结。最后基于之前的结论，在改善文本聚类质量方面，做出了一定的探索。 : 文本聚类；K-Means；测度距离；聚类质量 中图分类号: TP311.1 文献标识码: A DOI： 10.3969/j.issn.1003-6970.2015.01.011 本文著录格式： 陈磊磊. 不同距离测度的 K-Means 文本聚类研究[J]. 软件，2015，36(1)：5661 Text Clustering Study withK-Means Algorithm of Different Distance Measures CHEN Lei-lei (School of Computer Science and Technology, Beijing University of Posts and Telecommunications, Beijing 100876) 【Abstract 】: Recently Internet and E-commerce companies have accumulated tons of text documents. How to effectively organize the data and efficiently mine them has become the focus of computer science.This articlefirstly describedthe simi- laritymetric between text data objects and preprocessed the text documents using VSM technology and TF-IDF weighting strategy.After that a series of K-Means experiments were conducted on the preprocessed dataset with different distance measure methods and a conclusion was drawnaccording to the analysis of the experimentresults. In the end, based on the earlier conclusion, some research wasconductedto improve the quality of clustering. 【Key words 】: text clustering; K-Means; distance measure; quality of clustering 0 引言 [1] 聚类(Clustering)是将物理或抽象对象的集合分成由类似的对象组成的多个类的过程 。简而言之，聚类的 结果是样本数据对象构成的多个类或簇(cluster) ，一个簇中的对象有较高的相似度(similarity) ，而不同簇中的对 象差异较大，而这种相似度通常通过距离来度量。 文本聚类(Text C