文本分类算法中词语权重计算方法改进.docVIP

文本分类算法中词语权重计算方法改进 　　摘要:在自动文本分类中,TFIDF公式是常用的词语权重计算公式。该方法简单易行,但仅仅考虑了特征词出现的频率,而忽略了特征词对区分每个类的贡献。针对这个不足,该文提出了TFIDF-CHI,来修正各个特征词的权重,重新调整每个特征词对各个类别的区分度,并用KNN分类器来验证其有效性。实验证明该方法优于原来的TFIDF算法,表明了改进的策略是可行的。 　　关键词:文本分类;特征权值;TFIDF;TFIDF-CHI 　　中图分类号:TP312 文献标识码:A文章编号:1009-3044(2009)36-10626-03 　　Modify the Method of Features Weight in Text Classfication 　　ZHAO Xiao-hua, MA Jian-fen 　　(Dept. of Computer and Software College, Taiyuan University of Techonology, Taiyuan 030024, China) 　　Abstract: In auto text classification, TFIDF is often used when the weight of a term is calculated.The method is easy, only considers the frequency of the feature and ignores the features contribution to each class. Aiming at this shortage, we put forward the TFIDF-CHI and use it to modify each features weight, read just each features differentiation to each class. Then the KNN classifier is used to check its validity. The method is better than traditional TFIDF and proves that the TFIDF-CHI method is feasible. 　　Key words: text classification; feature weight; TFIDF; TFIDF-CHI 　　现在,政府、工业、商业和其他机构的大部分信息都以文本数据库的形式电子地存储,同时电子出版物、各种电子文档、电子邮件和万维网等文本数据库也正在快速的增长。随着各种电子形式的文本文档以指数级的速度增长,有效的信息检索、内容管理及信息过滤等应用变得越来越重要和困难。文本自动分类是一个有效的解决办法,已成为一项具有实用价值的关键技术。文本分类的主要步骤为:文本预处理、训练分类模型、测试分类模型。近年来,多种统计理论和机器学习方法被用来进行文本的自动分类,掀起了文本自动分类研究和应用的热潮。 　　本文通过研究发现传统的文本特征权值表示方法 TFIDF的不足:它忽略了特征词和类别之间的相关性。本文认为特征词和类别之间没有绝对的独立性,针对这个不足,提出了TFIDF-CHI算法,并用实验加以证明。 　　1 TFIDF算法及其改进 　　1.1 ?字2统计量 　　 ?字2统计量(chi-square statistic, CHI)特征选择方法又被称作开方拟合检验,这个概念来自列表检验,它可以用来衡量特征x与类别c之间的统计相关性。 ?字2方法认为特征t与文本类别之间的没有独立性,它们之间的关系类似于具有一维自由度的 ?字2分布, ?字2统计量的值越高,词汇和类别之间的独立性就越小。它基于如下假设:在指定类别Ci的文本中出现频率高的词语和在其它类的文本中出现频率高的词语,对判断文章是否属于类别Ci都有帮助。其计算公式如下: 　　 (1) 　　 式中,A是特征t和第i类文档共同出现的频度;B是特征t出现而第i类文档不出现的频度;C是第i类文档出现而特征t不出现的频度;D是第i类文档和特征都不出现的频度;N为总共的文本数,且N=A+B+C+D,同时要求满足A*DB*C。文献[1]中指出,CHI算法综合考虑了特征与类别出现的各种可能性,在文本数量逐渐增多的过程中,稳定性很好;与其他方法相比,CHI大约减少50%的词汇,分类效果好。 　　1.2 传统TFIDF计算方法 　　传统的TFIDF权重计算方法是由Salton在1988年提出的。指导思想是:在同一个文本中出现的频率较高,在不同文本中出现的频率较小的词应该赋予较高的权值。它主要考虑两个方