统计学提升方法概论.pdfVIP

目录 1. 提升方法AdaBoost算法 2. AdaBoost算法的训练误差分析 3. AdaBoost算法的解释 4. 提升树 一、提升方法AdaBoost算法 AdaBoost 的起源 怎样实现弱学习转为强学习 Bagging 怎样组合弱分类器 AdaBoost 的提出 AdaBoost 的基本概念 提升方法的基本思路 1984，Kearns和Valiant： 强可学习(strongly learnable)和弱可学习(weakly learnable) 在概率近似正确 （probably approximately correct, PAC)学习的框 架中，一个概念 （类），如果存在一个多项式的学习算法能够学习 它，并且正确率很高，称这个概念是强可学习的； 一个概念 （类），如果存在一个多项式的学习算法能够学习它，学 习的正确率仅比随机猜测略好，则称这个概念是弱可学习的。 1989, Schapire，证明： 在PAC学习的框架下，一个概念是强可学习的充分必要条件是这个 概念是弱可学习。 提升方法的基本思路 问题的提出： 只要找到一个比随机猜测略好的弱学习算法就可以 直接将其