基于向量空间模型的文本聚类算法姚清耘.pdfVIP

第34 卷 第18 期 计 算 机 工 程 2008 年9 月 Vol.34 No.18 Computer Engineering September 2008 ·软件技术与数据库· 文章编号：1000—3428(2008)18—0039—03 文献标识码：A 中图分类号：TP301.6 基于向量空间模型的文本聚类算法 姚清耘，刘功申，李 翔 (上海交通大学信息安全工程学院，上海 200240) 摘 要：文本聚类是聚类的一个重要研究分支，是聚类方法在文本处理领域的应用。该文探讨了基于向量空间模型的文本聚类方法，提出 了一种文本聚类的改进算法——LP算法。同时，基于语料库的实际聚类效果，就维度确定、特征选择等方面提出优化方案。实验证明，LP 算法有效地减少了聚类所消耗的时间，实用性和灵活性都较高。 关键词：向量空间模型；文本聚类；语料库 VSM–based Text Clustering Algorithm YAO Qing-yun, LIU Gong-shen, LI Xiang (School of Information Security Engineering, Shanghai Jiaotong University, Shanghai 200240) 【Abstract 】Text clustering, one of the most important research braches of clustering, is the application of clustering algorithm in text processing. This paper discusses different Vector Space Model(VSM)-based clustering algorithms and presents an improved text clustering algorithm——Level-Panel(LP) algorithm. In addition, according to the effects of clustering for the corpus, it presents optimizations of clustering algorithm, including dimension determining, feature selection, etc. It is proved that LP algorithm can effectively reduce the time spending in clustering process. It is high in practicability and flexibility. 【Key words 】Vector Space Model(VSM); text clustering; corpus 1 文本聚类研究现状 2 文本聚类过程 Internet 已经发展为当今世界上最大的信息库和全球范 文本聚类主要依据聚类假设：同类的文档相似度较大， 围内传播信息最主要的渠道。随着 Internet 的大规模普及和 非同类的文档相似度较小。作为一种无监督的机器学习方法， 企业信息化程度的提高，各种资源呈爆炸式增长。在中国互 聚类由于不需要训练过程、以及不需要预先对文档手工标注 联网络信息中心(CNNIC)2007 年 1 月最新公布的中国互联网 类别，因此具有较高的灵活性和自动化处理能力，成为对文 络发展状况统计报告中显示，70.2% 的网络信息均以文本形式