融合样本选择与特征选择的AdaBoost支持向量机集成算法.pdfVIP

第 48卷 第 12期 西 安 交 通 大 学 学 报 Vo1．48 NO．12 2014年 12月 JOURNALOFXI’ANJIAOTONG UNIVERSITY Dec．2O14 DOI：10．7652／xjtuxb201412010 融合样本选择与特征选择的AdaBoost 支持向量机集成算法 杨宏晖，王芸，孙进才，戴健 ，李亚安 (西北工业大学航海学院，710072，西安) 摘要：为提高AdaBoost分类器集成算法的分类精确度并简化分类系统 的复杂度，提 出一种融合 样本选择与特征选择 的AdaBoost支持 向量机集成算法(IFSeleet—SVME)。该算法在 AdaBoost算 法的每个循环中利用加权免疫克隆样本选择算法进行样本选择 ，并用互信息顺序 向前特征选择算 法进行特征选择 ，再利用每个循环优化选择得到 的特征样本子集训练个体 SVM 分类器，并对其进 行加权集成 ，生成最终的决策系统 。对实验所用 9组 UCI数据集的仿真结果表明：与支持向量机 集成 (sVME)算法相比，IFSelect—SVME算法的正确分类率有所提高，且样本数可减少 3O．8 ～ 80．0 ，特征数可减少32．2 ～81．5 ，简化 了集成结构 ，缩短 了测试样本的分类时间，所得到的 分类 系统具有更好 的分类精度 。 关键词 ：分类器集成 ；AdaBoost算法；支持向量机 ；样本选择 ；特征选择 中图分类号 ：TP391．4 文献标志码 ：A 文章编号 ：0253—987X(2014)12—0063—06 AnAdaBoostSupportVectorM achineEnsembleM ethodwith Integration ofInstanceSelection andFeatureSelection YANG Honghui，W ANG Yun，SUN Jincai，DAIJian，LIYa’an (SchoolofM arineScienceandTechnology，NorthwesternPolytechnicalUniversity，Xi’an710072，China) Abstract： An AdaBoost support vector machine ensemble (IFSelect—SVME) method with integrationofinstance selection and featureselection isproposed to improvethe classification accuracyofAdaBoostensemblealgorithm and to simplify the complexity ofthe classification system．Theproposedalgorithm selectsinstancesubsetsviatheweightedimmuneelonalinstance selectionalgorithm in each cycleofAdaBoostalgorithm ，andthefeaturesubsetsareobtained usingthemutualinformationsequentialforwardfeatureselectionalgorithm．Thentheindividual SVM classifiersaretrainedby theresulting optimalfeatureinstancesubsetsin each cycle，and combinedviamajorityvotetogeneratethefinaldecisionsystem．Simulationresultson9UCI datasetsand comparisonswith theAdaBoostSVME algorithm show thatthe