2015Adaboost.docVIP

2 Adaboost算法 2.1基本介绍 Boosting是一种提高任意给定学习算法准确度的方法，其思想起源于Valiant提出的 PAC ( Probably Approxi mately Correct)学习模型。Valiant和Kearns提出了弱学习和强学习的概念：识别错误率小于0.5也即准确率仅比随机猜测略高的学习算法称为弱学习算法，识别准确率很高并能在多项式时间内完成的学习算法称为强学习算法。同时，Valiant和 Kearns首次提出了 PAC学习模型中弱学习算法和强学习算法的等价性问题,即任意给定仅比随机猜测略好的弱学习算法，是否可以将其提升为强学习算法？如果二者等价，那么只需找到一个比随机猜测略好的弱学习算法就可以将其提升为强学习算法，而不必寻找很难获得的强学习算法。1990年, Schapire最先构造出一种多项式级算法，对该问题做了肯定的证明，这就是最初的Boosting算法。一年后，Freund提出了一种效率更高的Boosting算法。但是,这两种算法存在共同的实践上的缺陷 ,那就是都要求事先知道弱学习算法学习正确的下限。1995年，Freund和Schapire改进了Boosting算法，提出了 AdaBoost (Adap tive Boosting)算法，该算法效率和 Freund于 1991年提出的 Boosting算法几乎相同，但不需要任何关于弱学