面向relief 的组合式特征选择.pdfVIP

第 43 卷 　第 5 期 ( ) Vol. 43 No. 5 复 旦 学 报 自然科学版 2004 年 10 月 Journal of Fudan University (Natural Science) Oct. 2004 　　文章编号 (2004) 基于 Relief 的组合式特征选择 张丽新 , 王家　 , 赵雁南 , 杨泽红 (清华大学 　智能技术与系统国家重点实验室 ,北京 　100084) 摘 　要 : Relief F 是公认的效果较好的 filter 式特征评估方法 ,但该方法一大缺点是不能辨别冗余特征. 提出两种 基于 Relief 的组合式特征选择算法:ReCorre 和 ReSBSW ,这两种算法均首先利用 Relief F 算法过滤掉无关特征 , ( ) ( ) 然后分别采用相关分析 Correlation 以及顺序后向搜索 SBS 的 Wrapper 算法去除冗余特征. 在实际数据集以及 人造数据集上进行了实验 ,分析比较了 Relief ,ReCorre 以及 ReSBSW 算法的性能. 实验结果得出如下结论 : Reli ef F 方法对无关特征较多的数据集能够很好的降维 ,但对于实际数据中特征间关系较复杂的情况 ,只能去掉很少 的无关特征 ,并会去除一部分相关特征 ,Relief F 不能处理冗余特征 ,ReCorre 可以在 Relief F 基础上去除大部分冗 余特征. ReSBSW 算法可得到较好的泛化性能 ,但算法计算量很高 ,不适合大规模数据集. 关键词 : 特征选择 ;遗传算法 ;Relief F ;Wrapper ;大规模数据集 中图分类号: TP 391 　　　　文献标识码 : A 特征选择是从原始特征集中选取特征子集以使特定评估标准最优的过程. 适当的特征选择可以有效 去除不相关和冗余特征 ,提高学习算法的效率1 ,2 . 根据特征选择的过程是否独立于后续的学习算法 ,特 征选择算法可以分为 Filter 和 Wrapper 两大类2 . Wrapper 类方法直接利用后续学习算法的训练准确率评 估特征子集 ,因此其评估和后续算法性能偏差小 ,可对不同的学习算法选用相适合的特征子集 ,但由于每 个特征子集的评估都要运行学习算法 ,计算量很大 ,不适合大数据集2 ; Filter 方法和后续学习算法无关 , 一般直接利用所有训练数据的统计性能评估特征 ,如一致度3 ,信息增益4 , 以及本文用到的 Relief F 评 估5 等 ,因此 Filter 方法具有速度快的优点 ,但评估和后续学习算法的性能有较大偏差. Relief 系列算法是公认的效果较好的 filter 式特征评估算法5 , 6 ,但是 Relief F 算法不能辨别冗余特 征. 我们设想可以在 Relief F 去除掉无关特征的基础上 ,进一步采取去除冗余特征的处理. 我们先后提出分 别采用相关度分析和后向顺序搜索的 Wrapper 法去除冗余特征的 ReCorre , ReSBSW 算法 ,并在实际数据 集以及人造数据上进行了实验. 1 　Relief 系列算法 Relief 评估最早由 Kira 提出5 ,当时局限于解决两类的分类问题. 1994 年 Kononenko 6 扩展了 Relief 算法 ,使得 Relief F 可以解决多类问题以及回归问题. Relief F 系列算法的要点是根据特征对近距离样本的 区分能力来评估特征 ,其思想为 :好的特征应该使同类的样本接近 ,而使不同类的样本之间远离. Relief F 评估效率高 ,对数据类型没有限制 ,可以较好的去除无关特征 ,但 Relief F 算法不能去除冗余特征. 2 　基于 Relief F 评估的组合式特征选择算法 为克服 Relief