一种改进的互信息特征选择方法.docVIP

一种改进的互信息特征选择方法 　　摘要:特征选择是中文文本自动分类领域中极其重要的研究内容,其目的是为了解决特征空间高维性和文档表示向量稀疏性之间的矛盾。针对互信息(MI)特征选择方法分类效果较差的现状,提出了一种改进的互信息特征选择方法IMI。该方法考虑了特征项在当前文本中出现的频率以及互信息值为负数情况下的特征选取,从而能更有效地过滤低频词。通过在自动分类器KNN上的实验表明,改进后的方法极大地提高了分类精度。 　　关键词:中文文本自动分类;特征选择;互信息 　　中图分类号:TP311文献标识码:A 文章编号:1009-3044(2009)35-9889-02 　　An Improved Feature Selection Algorithm Based on Mutual Information 　　KANG Lan-lan,DONG Dan-dan 　　(Faculty ofApplied Science, Jiangxi University of Science and Technology, Ganzhou 341000, China) 　　Abstract: Feature selection is extremely important research of automatic categorization, and its purpose is to solve the contradiction between the high dimensional feature space and sparse vector of the document. For the less effective classification results of mutual information feature selection method, an improved mutual information feature selection method, IMI,was presented. This method not only takes into the current frequency of feature in text, but also takes into the case of mutual information value is negative. Low frequency words can be filtered more effective. Experiments of automatic categorization based KNN show that IMI improves the classification accuracy. 　　Key words: automatic categorization; feature selection; mutual information 　　分类是对信息的一种最基本的认知形式。所谓中文文本自动分类[1]就是指在给定的分类体系下,根据文本的内容用计算机程序确定文本所属的类别,给文本分配一个或者多个合适的类别。即用计算机程序来确定指定文档和预先定义类别之间的隶属关系。文本自动分类问题的主要障碍之一就是特征空间的高维性。特征选择是中文文本自动分类领域中极其重要的研究内容,其目的是为了解决特征空间高维性和文档表示向量稀疏性之间的矛盾[2]。常用的特征选择方法有:文档频数, 信息增益,互信息, 期望交叉熵,卡方统计量,文本证据权等。 　　本文针对互信息(MI)特征选择方法分类效果较差的现状,提出了一种改进的互信息特征选择方法CMI。该方法考虑了特征项在当前文本中出现的频率以及互信息值为负数情况下的特征选取,从而能更有效地过滤低频词。在文本自动分类器KNN上的实验表明该方法极大地提高了分类精度。 　　1 互信息特征选择方法 　　文本集中的单词、短语往往多达数万甚至数十万个,如果直接用来构成文本特征向量,必将带来所谓的“维数灾难”和计算复杂性太高,不能满足实际的性能需求等问题。因此,很有必要对特征向量进行降维处理。特征选择的依据是特征对分类作用的大小,通常用一个统计量或者评价函数来度量,把度量值小于阈值T的那些特征过滤掉,剩下的即认为是有效特征。选择没有改变原始特征空间的性质,只是从原始特征空间中选择了一部分重要的特征,组成一个新的低维空间[3]。 　　互信息(Mutual Information: MI)在统计语言学领域被广泛使用[4],它体现了特征与类型之间的相关程度。特征项t和类别之间的互信息定义[5]: 　　 (1) 　　其中:P(t,c)为C中出现特征t的文本数除以训练集的大小;P(t)为训练集中