基于互信息和粗糙集理论的特征选择.pdfVIP

第37卷 第 15期 计 算 机 工 程 2011年 8月 、，o1．37 NO．15 ComputerEngineering August2011 · 人工智能及识别技术 · 文章编号：1ooo’__3428(2o11)15—181—_o3 文献标识码：A 中图分类号；TP301 基于互信息和粗糙集理论的特征选择 朱颢东，李红婵 (郑州轻工业学院计算机与通信工程学院，郑州 450002) 摘 要：针对互信息方法在精度方面的不足，通过引入粗糙集，给出一种基于关系积理论的属性约简算法，以此为基础提出一个适用于海 量文本数据集的特征选择方法。该方法采用互信息进行特征初选，利用提出的属性约简算法消除冗余，获得较具代表性的特征子集。实验 结果表明，该特征选择方法能获得冗余度小且较具代表性的特征子集。 关健词：特征选择；互信息；粗糙集；关系积理论；属性约简 FeatureSelecti0nBased0nMutualInformation andRoughSetTheory ZHUHao—dong，LIHong-chan (SchoolofComputerandCommunicationEngineering，ZhengzhouUniversityofLightIndustry,Zhengzhou450002，China) [Abstract]Featureselectionisresearchhotspotintextautomaticcategorization．MutualInformation(MI)isanalyzed．Andaccordingtodeficiency ofMI，RoughSet(RS)isintroducednadanattributereductionalgorithmbasedonrelationuniontheoryisproposed．Afeatureselectionmehtod basedonMIandtheproposedattributereductionalgorithm ispresented，na ditissuitableformassivetextdatasets．ThemehtodusesMItoselect features，na demployshteproposedattributereductionalgorihtm toeliminateredundnacy,SOitCna acquirethefeaturesubsetswhich aremore representative．Experimentalresultsshow thathtemehtodispromising． [Keywords]featureselection；MutualInformation(MI)；RoughSet(RS)；relationuniontheory；attributereduction DOI：10．39690．issn．1000—3428．2011．15．057 1 概述 本中发生的频度，从而造成了互信息特征选择方法经常倾向 在文本 自动分类中，目前一般采用空间向量模型表示待 于选择稀有特征。在一些文本特征词选择算法的研究中发 分类的文档 l【J。在这个表示模型中，训练文档通常由大量特 现 】，如果仅仅使用互信息进行特征选择，则精度极低，因 征词组成，但这些特征中包含了众多冗余的特征，这些冗余 为它滤掉了很多高频的有用特征。 特征的存在不仅增加了系统的时空开销，而且大大限制了分 3 本文的属性约筒算法 类算法的选择、降低了分类算法的性能 J。因此，在实行文 通