一种利用词语超团的二分法文本聚类算法.docxVIP

一种利用词语超团的二分法文本聚类算法 文本挖掘是信息领域的研究热点。作为一种无监督的机器学习方法,聚类技术已成为对文本信息进行有效组织、摘要和导航的重要手段。传统聚类方法大多利用文档间相似度进行聚类,然后对各个类产生描述。但传统聚类方法的主要问题有:(1)对于文档向量两两之间相似度的比较随着文档数量的增加其复杂度呈指数函数增加;(2)对于文档的聚类,只以其中的线性部分作为特征,不能正确表述实际的语义。(3)在计算文档之间相似度时,不同的特征结构对聚类的结果会产生不同的影响。基于上述问题,本文提出一种新的文本聚类算法,即利用单词超团的二分图文本聚类算法。该算法用文档中单词的关联模式来评估文档间的相似度及主题类别预测,并利用图划分策略降低文档相似度比较算法的复杂度。另外,将超团作为特征结构的扩展可以在一定范围内减少语言信息的丢失,提高聚类效果。 1 类别查准率与回流度 文本聚类是无教师的机器学习,它没有预先定义好的主题类别,目标是将文档集合分成若干个簇,要求同一簇内文档内容的相似度尽可能大,而不同簇间的相似度尽可能小。对于聚类结果的评测,除了时间和空间等运行效率外,更重要的是对信息检索系统的检索性能进行评测。现在通用的评测标准主要包括以下6类: (1)查准率:查准率是指检出的相关文献量与检出文献总量的比率,是衡量信息检索系统检出文献准确度的尺度,定义为。 (2)召回度:召回度反映检索系统对某个查询返回结果中正确结果占全部正确结果的比例,定义为 (4)条件熵:条件熵表示在已知C的条件下在T中保存的有效信息,定义为CE=H(T|C)=H(T,C)-(C)。通常,CE的取值范围依赖于真实类别的个数T,为了达到测量尺度的正规化,通常采用正规化的条件熵 (5)错误率:错误率表示划分块中与占比率最大的实际类别样本不同的样本所占的比例,即划分到错误聚类中的样本比率,可以看作是H(T|C)的一个简化,定义为 (6)F-measure:F-measure包含了查准率和召回度的内部信息关联。将每个簇看作是一个查询结果,同时将每个类别看作希望得到的文档集,可以按照公式Pij=Cij/Cij及Rij=Cij/C+j计算每个给定类别的查准率和召回度。公式中C+j表示第j个真实类别对应第i个划分块的查准率;Rij表示第j个真实类别对应第i个划分块的召回度;Cij表示第j个真实类别划分到第i个划分块中的文档个数;iC+和C+j分别表示第i个划分块中文档的个数和第j个真实类别中文档的个数。由于同一篇文档在聚类过程中可能被划分在多个划分块中,因此C+j通常会大于第j个真实类别中文档的数目。聚类划分和真实类别之间的F-measure可以定义为Fij=(2PijRij)/(Pij+Rij)。 2 单词超集体特征结构的设计 2.1 项目集的定义 “超团”(hyperclique)是在频繁项集(frequent item set)的基础上提出的一个较新的概念,是一种特殊的频繁项集。 定义1超团信任度:项目集Hc的超团信任(hconfidence)度hconf(P)反映项目集P中全部项目的整体关联程度,定义为: 式中conf为普通意义上的信任度。 定义2超团:对于一个项目集P,如果称之为一个超团,当且仅当support(P)≥θ,并且hconf(P)≥Hc其中θ和Hc分别是用户自定义的支持度阈值和超团信任度阈值。作为一个项目集P,如果满足超团的定义,则该项目集称为一个超团,其中每个项目的支持度不低于θ,且任意两个项目之间的信任度均不低于Hc;对于P的子集D中的项目,同样满足超团的定义,因此也可以称为超团。但实际挖掘中,真正感兴趣的是项目集P本身而不是它的子集。一个超团子集并不能反映整体的关联程度,因此需要给出一个最大超团的定义。 定义3最大超团(maximal hyperclique pattern,MHP):对于一个超团HP,如果任意一个包含它的集合都不能够满足超团的定义则称HP是一个最大超团,即?P′?P,P′?MHP,P∈HP P∈MPH?,并且?P′?P,P′?MHP。 最大超团依赖于给定的支持度和超团信任度,对于不同的支持度和超团信任度,一个项目集所包含的超团的数目和各个超团的大小是不相同的。 2.2 基于扩展特征分量的dk 给定单词集合I={i1,i2,,ik},单词集合的子集集合文档向量集合D={d1,d2,,dm},其中,di?I。给定最小支持度s和最小超团信任度hc对D进行最大超团集合挖掘,得到超团集合HP={p1,p2,,p}n,其中,pi?I。 定义4对于D中任意一个文档向量dk,若ip?dk,则称超团iP是文档dk的一个扩展特征分量。 定义5 dk所有扩展特征分量构成的集合称为dk的特征分量集,记为Pdk。 将单词集合I和超团集合HP的并集作为新的