基于权重差异和类别关联的互信息改进研究.pdfVIP

第 31 卷第 7 期 2014 年 7 月 计 算机应用研究 Vol. 31 No.7 }ul. 20 14 ApplicalioJl Research of Compulers 基于权重差异和类别关联的互信息改进研究 * 刘松， 张德贤 (河南工业大学信息科学与工程学院 ， 郑州 450001 ) 摘 要: 作为文本分类 中常用的特征选择方法 ， 互信息在进行特征权宣计算时 ， 未考虑特征的正、 负相关性及其 影响程皮的不同，同时也忽略了特征在类别 中的分布情况。 针对以上不足，通过分别引入权宣差异阁子和类别 关联因子进行互信息模型的改进研究 ，优化特征询的权主区分皮，加强特往与类冽的联系 。 实验给采表明，改进 后的互信息特征选择方法优化了特征权重的计算 ，显著提高了分类效采，从而证明 了 改进的互信息特往选择方 法的有效性。 关键词: 特征选择;互信息 ; 权主差异;类别关联 中图分类号: TP39 l 文献标志码 : A 文章编号 : l OOI -3695 ( 2014 ) 07-1 998-03 doi : 10. 3969/j. iSSJl. 1001 -3695 .2014.07.017 Mutual information feature selection method based on weight difference and categories association LIU Song , ZHANG De-xian ( College 01 /，呐nn.at呻儿 Sc阳刚 TecluU!logy ， 的儿削 u，ιi时rsily 01 Tech时logy ， Zl昭ngz/，ωu 450001. Clú) Abstract: Mutual information is a common fca l.ure selecLìon rnel.heod. Whcn using it 1.0 calcuJatc featurc weight , dcgree of in- f1uence of diffcrent features and rcJevance of positivc feal.ure and negative featuxe arc not considcrcd. At the same t.imc tJle d始， lribuLion of fea lure in calegori皑白 ignored. For llle above shorlcorning声， Lhis paper inlroduced lhe weighl dillerence faclor and ca胎gories associaLion faclor inlo lhe improvernenl of rnulual information fealure selecLion rnelhod. TIlese could oplirnize ùle dis - criminative degrcc of fealure weighl , 8nd strengthened the links betwccn fi创turcs and categories. The expcrimcnt.aJ result. shows that the improved algorit.bm opti mizes the compuLì ng of the fcal.me wcighl., a.nd 8chievcs 8 bett.er resuJ t. Thus the cffectiveness of tlle irnproved rnulual information featu re selection meùlOd is verified. Key words: fealure selection; mulual informa 0 引言 文本分类是在已知的类别集合下，根据文本的内容进行判 断所肉类别的过程，是信息检索和挖掘的关键技术之一。 为使 计算机理解自然语言，常用空间向盘棋型(VSM) 表示文本[1) 。 高维初始文本的向盘空间不仅增加了文本分类的时空复杂度， 还对分类效果存在一定的移响，因此需要引人特征降维技术对 特征词进行降维[2) 。 作为一种有效的降维方法，特征选择是在原始特征空间中 通过某种评估函数，选择内部冗余位小和类别区分能力强的词 组成特征子集。 互信息( mutual inforrnalion , MI) 作为一种常用 的特征选择算法，一些学者已进行了一系列的研究。 例如文献 [ 3 ] 提出了标准化的互信息特征选择算法 ( norma li zcd rn ulual