Web文本挖掘中模糊聚类有效性评价研究.docVIP

Web文本挖掘中模糊聚类有效性评价研究 　　摘要： 本文研究了基于模糊聚类的Web文本挖掘和模糊聚类有效性评价函数，并将其应用于Web文本挖掘中模糊聚类有效性评价。仿真实验表明该方法有一定的准确性和可行性。 　　Abstract： This paper studies web documents mining based on fuzzy clustering and validity evaluation function， and puts forward to applying validity evaluation function into evaluation of web text mining. The experiments show that FKCM can effectively improve the precision of web text clustering； the method is feasible in web documents mining. The result of emulation examinations indicates that the method has certain feasibility and accuracy. 　　关键词： 模糊聚类；Web文本挖掘；相似度函数；有效性评价函数 　　Key words： fuzzy cluster；Web text mining；similarity measure function；validity evaluation function 　　中图分类号：TP39 文献标识码：A 文章编号：1006-4311（2012）30-0207-02 　　0 引言 　　将模糊核聚类用于web文本挖掘，实现多web文本的聚类分析，已成为文本信息进行有效组织、摘要和导航的重要手段。由于模糊聚类是一种无监督的学习过程，如何用一种客观公正的质量评价方法来评判聚类结果的有效性是一个困难而复杂的问题。广义上讲，聚类有效性评价包括聚类质量的度量、聚类算法适合某种特殊数据集的程度以及某种划分的最佳聚类数目[1]。 　　本文研究了模糊聚类算法，并对现有的模糊聚类算法进行了改进。研究了评价聚类效果的两种有效性函数，并将其应用于Web文本数据的模糊聚类效果的评价，讨论了模糊聚类最佳类别数的自动确定问题。 　　1 web文本预处理 　　web文本分类首先需对文本信息进行建模（预处理），文本中存在很多非结构化信息，意义的特征项（如词条）来代表文本。在web文本挖掘时只修对这些特征项进行处理，从而实现对非结构化文本的处理，这是一个非结构化向结构化转化的处理步骤。 　　1.1 web文本建模 在信息处理领域，文本的表示通常采用Gerard Salton[2]提出的向量空间模型（设D（d1，d2，…，di，…，dn）为含有n个文本的文本集，该模型是将含有n个文本的文本空间看作是由一组规范化正交词条矢量组成的向量空间，每个文本di表示为其中一个规范化特征矢量V（di）。V（di）=（t1，w1（di）；…tj，wj（di）；…；tm，wm（di）） （1） 　　其中，tj为文本di中的特征词；wj（di）为tj在di中权重，称V（di）为文本di的向量空间表示，wj（di）=ψ（tfj（di））。其中ψ采用TF-IDF函数，公式如下： 　　w■d■=■ （2） 　　式中tf■为特征词tj在di中的词频，N是文本集中文本总数，nj是文本集中包含特征词tj的文本数，l为在文本di中特征词的个数。 　　1.2 文本信息特征集的缩减 VSM 文本表示成数学上可分析处理的形式，但是存在的问题是文本特征向量具有惊人的维数。因此，在对文本进行分类处理之前，应对文本信息特征集进行降维处理。降维的方法有特征选取和特征抽取。通常的方法是将计算每个词出现的频率，然后删除一些频率很高或很低的词，同时还要考虑针对每个特征词条的权重排序，选取预定数目的最佳特征作为结果的特征子集。 　　2 基于Dsim的web文本挖掘 　　2.1 相似度函数Dsim 用VSM对Web文本进行的结构化处理，使得文本特征向量的维数相当大，尽管前面对文本特征向量进行了降维处理，但大多数向量空间仍属于高维空间。随着数据维数d的增加，数据的最大―最小距离差Dmax-Dmin以d1/k-1/2的速度增长[3][4][5]。对L■范数距离度量来讲k越大，最大和最小距离之间的对比越不明显[3][4][5]。赵恒[6]等人提出将Hsim（）函数作为相似度函数来进行模糊分类，相似性度量函数Hsim（ ）可以较好地克服L■范数等传统的距离函数在高维空间中的缺点，但它不具备平移不变性和不依赖幅值的特点。基于此，对Hsim（）