【优质】BOOTSTRAP研究综述.doc

重采样方法与机器学习 毕 华 梁洪力 王 珏（自动化研究所 复杂系统与智能科学重点实验室 北京 100190） 摘要 关键词 重采样； 中图法分类号 TP18 BI Hua LIANG Hong-Li WANG Jue (Key Laboratory of Complex Systems and Intelligence Science, Institute of Automation，Chinese Academy of Sciences，Beijing 100190) In boosting algorithm complex natural model is approximated by the linear combination of weak learners. Due to its excellent interpretability and prediction power, boosting has become an intensive focus among computer science field. However, it is only considered as an optimizing procedure with a specific loss function, whose nature in statistics has never obtained sufficient attention. In essence, a statistical perspective of boosting algorithm is brought out in this paper, i.e., an interesting special case of resampling methods. We hope the current situation of excessive attention being paid to the performance of algorithm while the characteristic of data being ignored will be changed, such that the tasks of “high dimensional and large volume data generated in an uncontrolled manner” could be tackled more appropriately. Keywords resampling; bootstrap; Boosting；machine learning 1. 引言 1984年，Valiant[1]在他的论文提出机器学习的另类理念他认为，学习模型无需绝对精确，只需概率近似正确(PAC)即可由此，他建立了PAC的理论基础。这个理论可以简单描述如下：令是自然模型，是从学习后建立的模型，以概率成立。这里的关键是，“概率成立”，而不是以概率1成立。这个理论对Vapnik建立有限样本统计机器学习理论有重要的意义。Kearns和Valiant [2,3](1988,19)在PAC的基础上提出弱可学习的他这样描述一个概念是弱可学习：与定义如上，成立的概率大于。这意味着一个概念如果是弱可学习的，于50%比随机猜想稍好同时将满足PAC原始定义的概念可学习称为强可学习。进而，他问了如下一个问题，强可学习在什么条件下与弱可学习等价。 1990年，Schapire[4]回答了这个问题他使用构造的方法证明一个概念弱可学习的充要条件是这个概念强可学习这是一个有些“不可思议”的结论。正是由于这个定理，开始了至今还在人们关注视野中的一类机器学习的研究，机器学习研究者将这类学习方式称为集群学习[5]。从此以后，统计学家开始介入机器学习的研究。这是本文讨论的重点，我们将在本文以后详细说明统计学家对这个问题的描述。以后Schapire提出了Adaboost算法[6]，由于这个算法如此简单且灵活，立即受到计算科学技术界的推崇。特别是，人们在使用这个算法时，发现很少出现“过学习(Overfitting)”现象，这个性质大大超出了人们的期望，并派生了研究这个问题的课题[7]。 事实上，尽管Schapire的定理是基于PAC理论，但是，其使用的构造性证明方法与统计学家Efron比他早十余年发展的属于重采样方法的Bootstrap)没有本质区别。如果说有区别，那也只是Schapire的方法使用了一种特殊的采样策略目前，大多数计算科学家称其为“富信息”策略，即，一个弱学习器不能很好学习的样本(概念)，将尽可能成为下一个弱学习器学习的样本。这就是Adaboost的原理。为了与统计学重采样方法相比较，