基于文本信息的聚类方法研究.docVIP

基于文本信息的聚类方法研究 　　摘 要：随着信息技术和Web技术的发展，如何从海量的Web文本信息中找到自己所需信息已成为一个重要的研究领域。在众多信息获取方法中，聚类技术是一种被广泛应用的方法。总结了文本聚类算法的研究现状，比较了算法的主要差异和整体思想，并分析了各种方法的优劣，同时指出了文本聚类研究今后的发展趋势，即在粒子群聚类过程中融入其它传统聚类方法的思想，以提高聚类性能。 　　关键词关键词：文本聚类；数据挖掘；粒子群算法；信息检索；自然语言处理 　　中图分类号：TP301 文献标识码：A 文章编号文章编号2013）008004003 　　作者简介作者简介：安靖（1980-），女，中国人寿保险股份有限公司研发中心职员，研究方向为智能信息处理、软件设计。 　　0 引言 　　随着互联网的大规模普及和应用，海量文本信息不断涌现，互联网已成为一个庞大而杂乱无章的信息库。因此，人们迫切需要能够实现自动聚类和分类处理的技术，从而在节省时间的同时，能够更好地检索到自己所需类别的文献。高效的文本检索需要优质的索引和文本概要，文本聚类技术即是解决此问题的一条有效途径。文本聚类过程是指将一个训练文本集合分成若干聚类簇（Cluster），每个聚类簇中的文本之间具有较大的共性，而不同聚类簇的文本具有很小的相似性。与之对应的是，文本分类通常是通过数理统计方法或知识工程来实现的。 　　文本聚类技术在数据挖掘领域研究中有着重要的地位，通常来说，它和文本分类的功能是相辅相成的。聚类技术主要是依据聚类假设原理：同类的对象相似度大，不同类的对象相似度小。文本聚类技术是自然语言处理（Natural Language Processing， NLP）和信息检索（Information Retrieval， IR）等研究领域涉及的热门课题，它是一种无监督的机器学习技术，因为聚类不需要提前训练，也不需要事先对文本材料进行人工分类。因此，它具有较高的自动化处理能力和灵活性，从而成为文本信息组织、概要提取以及导航的重要手段，被越来越多的研究者所青睐。 　　当前，最常用的文本聚类与分析方法包括层次聚类方法、基于模型的聚类方法（如统计学算法和神经网络算法），以及依赖平面划分的聚类方法（如K中心点聚类算法）等，它们已经被广泛地运用于知识管理系统、商业智能系统和CRM系统中。并且，能够能利用这些算法来部分解决智能检索系统存在的所谓“信息过载”的难题，从而过滤掉用户文本信息检索结果中的大量“噪声”，提高检索信息的相关度和准确度。 　　如今，由于大规模、多复杂数据集的出现，大数据的分析和处理对聚类技术提出了更高的要求，主要表现在聚类算法需要具有一定的可伸缩性、能够处理各种类型数据、可以发现任意形状的聚类簇以及能够高速分析高维数据等，并要求用户能够对聚类的结果进行判断、充分理解和使用，传统聚类手段显然已经难以应对这一系列的问题与需求。为解决上述难题，各个领域的研究者们开始尝试研究各种新型的智能聚类技术。其中，属于群智能算法的粒子群优化算法（PSO）逐渐引起了业界的注意，并且一系列实验表明，此方法在聚类分析效果上明显优于传统方法。 　　1 基于层次分析的聚类方法 　　所谓层次分析就是对给定的数据集合进行层次上的分离，即分界。在层次法聚类过程中，用树结构表示聚类过程序列。根据层次分界表示方式的不同，层次分析聚类方法又可以分为层次凝聚法和层次分裂法。 　　层次分析聚类方法具有两大优点：一是聚类的数目不需要在聚类前确定；二是它与初始条件之间是相互独立的关系，不会相互影响。此外，由于它是一种静态的聚类方法，即已经结束的合并或分裂操作不能退回，而且簇之间也不可以交换数据，因此某一步若没有选择好合并或分裂点，则可能会出现劣质的聚类效果。而且，进行合并或者分裂操作通常需要检索估算大量的数据对象或簇，从而令层次分析方法的可伸缩性较差，又或者缺乏全局状态以及簇的规模等信息，导致该方法可能无法对有重叠的簇划分。 　　层次法的代表是Canopy聚类算法。 　　Mcccallum于本世纪初提出了一种技术用来对高维的大数据集进行聚类，即Canopy方法。Canopy算法主要分两步骤完成：首先用代价小而高效的距离测量方式将数据划分成重叠的子集（即canopy簇），然后使用更为精确的聚类方法计算同一子集内的精确距离。这使得大规模数据的聚类问题变得更易于解决和实现。Canopy可在许多领域与大部分聚类方法同时使用，包括Greedy Agglomerative Clustering、KMeans和EM算法等。 　　由于Canopy算法的第一阶段数据量非常大，通常的步骤如下： 　　①首先随机选择一个中心点，并找出这个中心点附近存在的所有数据； 　　②将这些数据和中心