一种基于密度Web文本聚类算法.docVIP

一种基于密度的Web文本聚类算法 　　摘要：针对DBSCAN算法采用全局参数Eps、对高维数据处理能力不足等问题，提出一种改进算法，该算法结合蚁群聚类算法实现数据集的划分以获取参数Eps的值组，然后根据不同的Eps值分别调用DBSCAN算法，从而实现对Web文本的聚类。实验结果表明，改进后的算法的有效性有所提高。 　　关键词：Web文本；DBSCAN；蚁群聚类；Eps值组 　　中图分类号：TP301 文献标识码：A 文章编号：1009-3044（2015）08-0234-02 　　Abstract： Focusing on the problem that the DBSCAN algorithm uses the same global Eps and has difficulty with high-dimension of data，proposed an improved web text clustering algorithm.The algorithm use ant clustering algorithm in data preprocessing phase to classify the datasets and to get several values of parameter eps， then call DBSCAN algorithm with different values of Eps to cluster web text . Experimental results demonstrate the effectiveness of the improved algorithm. 　　Key words： web text； DBSCAN； Ant clustering algorithm； A set of values of Eps 　　1 引言 　　互联网的发展使网络上的信息呈爆炸式增长，且超过80%的Web资源以文本的形式存在[1]。这些文本信息的增长对准确检索到相关信息带来了极大的挑战，人们急需某种方法从海量Web文本信息中寻找需要的资源。作为文本分析的一种重要技术，文本聚类可以发现相似文档，以供进一步分析挖掘。由于Web文本挖掘的数据不是事先存储在数据库中，而是利用网络爬虫抓取的大量网页资源，因此，要对Web文本聚类，必须将抓取的Web网页进行文本预处理， 形成文本特征向量，才能进行聚类。 　　文本聚类算法有多种，但由于Web文本不同于普通文本，这些常用的文本聚类方法必须经过一定的改进后，才可适用于Web文本。基于密度的DBSCAN算法可以发现任意形状的簇，且不需要预先确定数据集将被聚类的簇数，也不受噪声影响。但是该算法需要用户输入统一的全局参数Eps，当数据集的密度不均匀时，导致聚类效果差；并且对于高维数据的处理能力也较差，而Web文本往往是高维的且分布不均的。为了实现对Web文本的有效聚类，本文提出一种改进的DBSCAN算法。 　　2 Web文本聚类关键技术 　　要实现Web文本聚类，首先使用网络蜘蛛抓取网页，将网页中与主题内容不相关的HTML标记和广告等移除，并将其转换成文本文件保存；然后对得到的文本进行分词处理，将文本切分成特征词条，去除停用词，统计词频等；将分词后的文本转换为易被计算机理解的形式（即文本特征表示），以及特征降维，之后才能对Web文本进行聚类。 　　2.1 文本表示 　　特征词条（即分词后的文本）是用自然语言描述的，计算机无法直接处理，因此需要将文本表示为计算机可以直接处理的形式。向量空间模型（VSM，Vector Space Model）是目前应用最广的文本表示模型。它由哈佛大学的G Salton提出，它将任意一个文本表示成空间向量的形式：V（di）=（w1（di），w2（di），…，wn（di））。其中，n表示总的特征词条数，wj（di）表示第j个特征词条在文档di中的权值。在权值的量化方法上，比较常用的是TF*IDF算法，其中，TF（词项频率）表示特征词条ti在文本dj中出现的次数，记为tfij；IDF（倒排文档频率）表示文本集中总的文档数N与包含该特征词条的文档数n的商值，常用公式log（N/n）来计算，它是特征词条在文本集分布情况的量化。文本特征词条权值的计算如公式1所示： 　　（1）其中，tfij为在文档dj中含有第i个特征词条的频数，N为文本集中的总文档数，Ni为含有第i个特征词条的文档数。 　　2.2 文本特征降维 　　分词后的文本集由众多特征词条构成，且词条数量相当的大。因此表示文本的向量空间维数会很高，将影响文本聚类的效率和精度。一方面大多数聚类算法都难以承受维数太高的向量空间；另一方面在文本中会存在