一种基于信息增益的特征优化选择方法.pdf

130 2011，47（12） Computer Engineering and Applications计算机工程与应用 一种基于信息增益的特征优化选择方法 刘庆和，梁正友 LIU Qinghe，LIANG Zhengyou 广西大学 计算机与电子信息学院，南宁 530004 School of Computer，Electronics and Information，Guangxi University，Nanning 530004，China LIU Qinghe，LIANG Zhengyou.Optimized approach of feature selection based on information gain.Computer Engineer- ing and Applications，2011，47（12）：130-132. Abstract：Feature selection is an essential part of text categorization，which can effectively improve classification precision and efficiency.With some drawbacks proposed from traditional IG approach，an optimized approach that takes frequency，con- centration and distribution into account is proposed for improving IG approach.The experimental results show that the im- proved IG approach is superior to traditional IG approach in feature selection. Key words：feature selection；information gain；frequency；concentration；distribution 摘 要：特征选择是文本分类的一个重要环节，它可以有效提高分类精度和效率。在研究文本分类特征选择方法的基础上，分析 了信息增益方法的不足，将频度、集中度、分散度应用到信息增益方法上，提出了一种基于信息增益的特征优化选择方法。实验 表明，该方法在分类效果与性能上都优于传统方法。 关键词：特征选择；信息增益；频度；集中度；分散度 DOI：10.3778/j.issn.1002-8331.2011.12.037 文章编号：1002-8331（2011）12-0130-03 文献标识码：A 中图分类号：TP391 1 引言 量在空间中分布的均匀程度，能量分布越均匀，越不确定，熵 文本分类作为一种有效的信息检索和信息过滤的关键技 就越大。Shannon 将熵应有于信息处理，提出了“信息熵”的概 术，能按预定义的类别将待分类文档进行归类。文本分类中 念。信息熵是信息的量化度量，是衡量一个随机变量取值的 常用向量空间模型（Vector Space Model，VSM）[1]来表示文本， 不确定性程度[3]。 然而向量空间的高维性和文档表示向量的稀疏性影响了文本 令 X 为随机变量，如果 X 随机变量的变化越多，通过它获 分类的处理速度。因此，特征选择显得尤为重要。 取的信息量就越大，X的信息熵定义为[3]： 特征选择主要是从原始特征空间中选择出一组对分类最 H (X ) = - p(x )lb( p(x )) （1） ? i