集成学习算法的差异性及性能比较.pdfVIP

第34卷 第6期 计 算 机 工 程 2008年3月 VoL34 No．6 Computer Engineering March 2008 · 博士论文· 文章编号t2008 文献标识码：A 中圈分类号。TP391 集成学习算法的差异性及性能比较 李 凯 ，崔ilil~l (1．河北大学数学与计算机学院，保定 071002；2．河北大学图书馆，保定 071002) 摘 要：从差异性出发，研究了基于特征集技术 (通过一定的策略选取不同特征集以组成训练集)与数据技术 (通过取样技术选取不同的 训练集)的集成学习算法，分析了两种集成学习算法产生差异性的方法。针对决策树与神经网络模型，在标准数据集中对集成学习算法的 性能进行实验研究，结果表明集成学习算法的性能依赖于数据集的特性以及产生差异性的方法等因素。从总体性能考虑，基于数据的集成 学习算法在大多数数据集上优于基于特征集的集成学习算法。 关健词：差异性；集成学习；特征集；取样；性能 Diversity and Performance Comparison for Ensemble Learning Algorithms LI Kai ．CUI Li-juan (1．School of Mathematics and Computer,Hebei University，Baoding 07 1002；2．Library of Hebei University,Baoding 07 1002) [Abstract]From point of view of diversity，the paper studies ensemble learning algorithms based on~atum sets and data．Methods of creating diversity for these ensemble learning algorithms are analyzed．And experimental studies for using decision trees and neural networks as basis models are conducted on 1 0 standard data sets．The results show that performances of ensemble learning algorithms depend on character of data sets，method of creating diversity,and etc．In general，perform ances of ensemble learning algorithms based on data are superior to one based on feature sets． [Key words]diversity；ensemble learning；feature set；sampling；performance 集成学习是机器学习的研究热点之一，并在数据挖掘、 采用有放回随机取样技术(Bootstrap取样)获取训练集，然后 模式识别、文本分类、预测等方面获得了应用。集成学习是 使用该数据集生成集成学习中的个体。在这种方法中，集成 将多个不同的单个模型组合成一个模型，其目的是利用这些 个体间的差异性是通过Bootstrap重取样技术获得的，或者说 单个模型之间的差异，来改善模型的泛化性能。当学习模型 它是通过训练数据的随机性及独立性来提供集成中个体的差 具有较高的正确率且具有差异性时，则模型集成的效果明显。 异性，该方法主要用于不稳定(不稳定是指当训练集中数据有