大规模短文本的不完全聚类.pdfVIP

大规模短文本的不完全聚类 彭泽映，俞晓明，许洪波 中国科学院计算技术研究所，北京，100190 Email: pengzeying@ 摘 要：聚类分析是机器学习的一个重要手段，人们可以通过聚类发现信息中潜在的热点或规律。至今， 已经有大量聚类算法被研究和提出。随着互联网的日益普及，查询日志、twitter 等短文本信息逐渐在人们 生活中起着越来越重要的作用。这类短文本信息数量巨大，通常可达到千万乃至亿级，现有的聚类算法在 对这类大规模短文本信息进行聚类分析时往往显得异常无力。本文通过对实际应用中的短文本信息进行实 验分析，发现了这类数据所具有的“长尾分布”，并由此提出了不完全聚类思想，可以有效地提高这类短 文本信息的聚类性能。 关键词：短文本；聚类分析；不完全聚类 Incomplete Clustering For Large Short Texts Ze-Ying Peng, Xiao-Ming Yu, Hong-Bo Xu (Institute of Computing Technology, Chinese Academy of Science, Beijing 100190, China) Email: pengzeying@ Abstract: Clustering is the unsupervised classification of patterns (observations, data items, or feature vectors) into groups (clusters). So far, many clustering algorithms have been proposed. With the rapid development of internet, short texts such as query logs and twitter messages play a more and more important role in our daily life. Most existing clustering methods are hard to be applied in dealing with this kind of information due to the huge size. This paper reveals the long tail distribution of this kind of information, and proposes an incomplete clustering algorithm. The experimental results show that the proposed method can cluster the short texts effectively and efficiently. Keywords: short texts; clustering; incomplete clustering 1 引言 [1] 聚类分析 （非监督学习）是数据挖掘中的一个重要领域。它将大量具有相同属性的 事物按照相似度分为各个组，进而辅助人们从这些信息中抽取摘要或者发现新的规律。至 今，聚类分析已成功应用于文本摘要、生物基因识别、电子商务客户行为分析等众多方面、 取得了很好效果。 随着这两年twitter 带来的新一波内容风潮，越来越多关注被投放到了一种早已广泛存 在的信息形式：短文本。称之为短文本是因为这些信息都是一些很短的文本，一般字数都 不超过 100。实际上，在twitter 风靡之前，短文本就早已深入人们的网络生活中，甚至可 以说是与网民最贴近的信息形式。进入Internet 的入口——搜索引擎中与用户最相关的部分 ——用户查询就是一种典型的短文本；已经成为人们上网不可或缺的“网络固话”——即 时通讯软件中的聊天对话基本都属于短文本。除此之外，聊天室对话、新闻标题、论坛标