基于差异性的分类器集成：有效性分析及优化集成.pdfVIP

第 40 卷 第 4 期 自 动 化 学 报 Vol. 40, No. 4 2014 年 4 月 ACTA AUTOMATICA SINICA April, 2014 基于差异性的分类器集成: 有效性分析及优化集成 杨 春 1 殷绪成 1, 2 郝红卫 3 闫 琰 1 王志彬 1, 4 摘 要 差异性是分类器集成具有高泛化能力的必要条件. 然而, 目前对差异性度量、有效性及分类器优化集成都没有统 一的分析和处理方法. 针对上述问题, 本文一方面从差异性度量方法、差异性度量有效性分析和相应的分类器优化集成技 术三个角度, 全面总结与分析了基于差异性的分类器集成. 同时, 本文还通过向量空间模型形象地论证了差异性度量的有效 性. 另一方面, 本文针对多种典型的基于差异性的分类器集成技术 (Bagging, boosting GA-based, quadratic programming (QP)、semi-de?nite programming (SDP)、regularized selective ensemble (RSE)) 在 UCI 数据库和 USPS 数据库上进行了 对比实验与性能分析, 并对如何选择差异性度量方法和具体的优化集成技术给出了可行性建议. 关键词 分类器集成, 差异性, 有效性分析, 优化 引用格式 杨春, 殷绪成, 郝红卫, 闫琰, 王志彬. 基于差异性的分类器集成: 有效性分析及优化集成. 自动化学报, 2014, 40(4): 660?674 DOI 10.3724/SP.J.1004.2014.00660 Classi?er Ensemble with Diversity: E?ectiveness Analysis and Ensemble Optimization YANG Chun1 YIN Xu-Cheng1, 2 HAO Hong-Wei3 YAN Yan1 WANG Zhi-Bin1, 4 Abstract Diversity is a necessary condition for high generalization capability in classi?er ensemble. However, there exists no uniform analysis and operation methods for diversity measure, e?ectiveness analysis or ensemble optimization. To solve these issues, on the one hand, classi?er ensemble with diversity is comprehensively summarized and analyzed from three aspects, i.e., diversity measurement methods, e?ectiveness analysis for diversity measurement methods and optimization techniques for classi?er ensemble. Moreover, the e?ectiveness of diversity is also demonstrated by the vector space model