基于向量空间模型多主题Web文本分类方法.docVIP

基于向量空间模型多主题Web文本分类方法 　　摘要：对给定的网页，提取其特征向量，计算网页特征向量与分类特征向量的相似度，使用K means聚类方法寻找归属类得到动态阈值，提出了一种基于动态阈值的向量空间模型多主题Web文本分类方法。该方法通过网页与每个类的相似度和动态阈值的比较，实现了将包含多个主题的网页划分到相应的多个类中。实验证明，这种方法具有较好的精确度和召回率。?? 　　关键词：向量空间模型；文本分类；多主题；数据挖掘?? 　　中图分类号：TP311．13文献标志码：A 　　文章编号：1001－3695(2008)01－0142－03 　　 　　0引言?? 　　 　　Web文本分类是当前文本挖掘的研究热点之一。其分类方法较多，主要有贝叶斯分类算法[1](naive Bayesian classi ??fier)、最近邻接参照分类算法[2，3](K nearest neighbor)和基于本体的文本分类算法[4]等。这些算法均将Web页面分到某个类中进行处理。实际上几乎每个网页均包含多个不同的主题，如使用上述算法就要求将页面分到特定的类中。例如某个网页A是关于教育乱收费的，就要求将网页A分到教育和法制法规两个类中；网页B主要内容是关于农作物的价格报道，就要求将该网页分到农业和财经两个类中。对于此类问题，普遍采用的方法是首先设定一个固定阈值，然后分别计算待测文档与每个类之间的相似度。当待测文档与某个类的相似度大于设定的阈值时，就将待测文档分到这个类中。这种方法中，阈值的大小对分类的精确度和召回度的影响较大，如果阈值过大，则有可能将原本属于某个类的文档排除在外，召回率变小；如果阈值太小，则将原本不属于某个类的文档划分到这个类中，精确度变小。因而设置一个恰当的阈值是同时保证较高精确度和召回率的关键，在Web文本分类研究中具有重要的实际意义。为改变固定阈值分类方法的不足，本文提出了基于动态阈值的多主题Web分类方法。首先提出了该动态阈值分类方法的实现结构，然后根据待分页面与所有类之间的相似度动态地计算一个阈值。?? 　　 　　1基于向量空间模型的文档分类?? 　　 　　1．1Web文档的表示?? 　　目前文档的表示模型有很多，其中最普遍使用的是向量空间模型（VSM）。在这种模型中，每个文档被表示成特征向量：V(d)=(t??1,w??1(d);t??2,w??2(d);…；t??n,w??n(d))。其中：t??i为特征词条；w??i(d)为特征词条i在文档中的权重。可以将d中出现的所有词作为t??i，但这样就会使得特征向量的维数特别高，包含噪声，特征不明显。而一个文档的内容主要是由动词、名词、形容词等实词决定的，虚词和一些在所有文档中均出现的高频词对分类是没有任何意义的，所以必须进行特征提取，降低特征空间的维数，以达到降低计算的复杂度、提高分类准确率的目的。?? 　　1．1．1特征提取?? 　　特征提取即对特征空间中的所有特征项进行特征评估，利用特征评估函数对每个特征项计算一个评估值，然后将所有的特征项按照评估值的大小排序，选择适当数目的最佳特征项作为样本的特征。常用的特征函数有以下几种形式：词条的χ??2统计、信息增益、期望交叉熵、文本证据权、词条与类别互信息等。这些方法均有较好的准确率，本文采用词条的χ??2统计方法进行特征提取。?? 　　1．1．2特征向量的计算?? 　　特征项在文档中的权重w??i(d)的计算对Web文本分类是至关重要的一步，w??i(d)一般被定义为t??i在文档d中出现的频率tf??i(d)的函数，即w??i(d)=F(tf??i(d))。常有的F有布尔函数、平方根函数、对数函数、TF IDF[6，7]函数。而TF IDF公式是一种有效而较普遍使用的方法。目前这种方法存在许多变体公式。本文采用的公式[8]为 　　 　　2多主题Web分类方法?? 　　 　　如前所述，当前许多基于向量空间模型的Web文本自动分类方法均是通过比较某个网页与所有类之间的相似度，将相似度最大的类作为网页的归属类，这样只是笼统地将网页划分到最相似的类中，没有考虑到存在多个主题的网页应该被划分到多个类的情况。针对这种不足，本文提出了一种多主题分类方法，实现了将包含多个主题的网页划分到相应的多个类中。其实现过程结构如图1所示。?? 　　2．1动态阈值的计算?? 　　阈值的确定是分类的关键，因为待分类页面与所有类的相似度可能都很小也可能都很大，在分类前确定一个固定阈值是比较困难的，也是不恰当的，可以根据每个待分类页面与各个类的相似度的实际情况动态地计算出一个阈值。这样每个待分类页面在分类时使用的阈值是不相同的，不是固定的。简单地将动态阈值设定为所有相似度的平均值，即vt=1/n??n