Outofbag样本应用研究.docVIP

Outofbag样本应用研究 　　摘要：Bagging集成通过组合不稳定的基分类器在很大程度上降低“弱”学习算法的分类误差，Out-of-bag样本是Bagging集成的自然产物。目前，Out-of-bag样本在估计Bagging集成的泛化误差、构建相关集成分类器等方面得到了广泛应用。文章对Out-of-bag样本的应用进行了综述，阐述了对其进行研究的主要内容和特点，并对它在将来可能的研究方向进行了讨论。 　　关键词：Bagging; Out-of-bag样本; 交叉确认法; 泛化误差; Double-Bagging; 随机森林 　　中图分类号：TP181文献标识码：Adoi: 10.3969/j.issn.1003-6970.2011.03.001 　　 　　Research of the Applications of Out-of-bag Sample 　　ZHANG Chun-xia, GUO Gao 　　(School of Science, Xi’an Jiaotong University, Xi’an 710049, China) 　　【Abstract】 Bagging can improve the classification error of a weak learning algorithm to a large extent through combining some instable base classifiers. Out-of-bag samples are naturally generated in the process of bagging. At present, out-of-bag samples haven been applied to many fields in ensemble learning, such as estimating the generalization error of a bagging ensemble, constructing ensemble classifiers and so on. This paper gives an overview of the applications of out-of-bag samples whose contents and main characteristics are illustrated. Meanwhile, the future research directions of out-of-bag samples are discussed. This specification is set for the theses to be published in Computer Software, including fonts, margins, page size and print area. 　　【Key words】Bagging; Out-of-bag sample; Cross-validation method; Generalization error; Double-bagging; Random forest 　　0引言 　　集成学习是一种新的学习范式，它使用多个学习机来解决同一个问题。由于它能显著提高一个学习系统的泛化能力，从20世纪90年代开始，对集成学习理论和算法的研究一直是机器学习领域中的热点问题之一。目前，集成学习技术已经被成功应用于解决语音识别、基因数据分析、疾病诊断、遥感数据分析、文本分类等众多实际问题。 　　Bagging[1]是Breiman于1996年提出的一种简单且有效的集成学习技术，其主要思想是通过对原始训练集进行Bootstrap 抽样(即有放回地随机抽样)，为每个基分类器构造出具有同样大小但包含不同训练观测的训练集，将基学习算法应用到这些训练集而得到不同的基分类器。在对新数据点预测时，对每个基分类器的预测结果进行多数投票。从理论上讲，每个Bootstrap样本包含原训练集中大约63.2%的观测，原始训练集中的某些观测可能在新的训练集中出现多次，而另外一些则可能一次也不出现。在文献[2]中，Breiman将这些在原训练集中未出现的观测组成的集合称为“Out-of-bag”样本，并用其来改善条件类概率密度。截至目前，已有很多研究者针对Out-of-bag样本在集成学习中的不同应用进行了研究，并取得了较好的效果。本文的目的是对Out-of-bag样本的应用进行综述，阐述对它进行研究的主要内容和特点，为集成学习的研究提供一定的参考。 　　本文的主要内容安排如下: 第2节简要介绍Bagging算法和Out-of-bag