统计学提升方法概论.pdfVIP

目录 1. 提升方法AdaBoost算法 2. AdaBoost算法的训练误差分析 3. AdaBoost算法的解释 4. 提升树 一、提升方法AdaBoost算法 AdaBoost 的起源 怎样实现弱学习转为强学习 Bagging 怎样组合弱分类器 AdaBoost 的提出 AdaBoost 的基本概念 提升方法的基本思路 1984，Kearns和Valiant： 强可学习(strongly learnable)和弱可学习(weakly learnable) 在概率近似正确 （probably approximately correct, PAC)学习的框 架中，一个概念 （类），如果存在一个多项式的学习算法能够学习 它，并且正确率很高，称这个概念是强可学习的； 一个概念 （类），如果存在一个多项式的学习算法能够学习它，学 习的正确率仅比随机猜测略好，则称这个概念是弱可学习的。 1989, Schapire，证明： 在PAC学习的框架下，一个概念是强可学习的充分必要条件是这个 概念是弱可学习。 提升方法的基本思路 问题的提出： 只要找到一个比随机猜测略好的弱学习算法就可以 直接将其提升为强学习算法，而不必直接去找很难 获得的强学习算法。 提升方法的基本思路 怎样实现弱学习转为强学习？ 例如：学习算法A在a情况下失效，学习算法 B在b情况下失效，那么在a情况下可以用B算 法，在b情况下可以用A算法解决。这说明通 过某种合适的方式把各种算法组合起来，可 以提高准确率。 为实现弱学习互补，面临两个问题： （1 ）怎样获得不同的弱分类器？ （2 ）怎样组合弱分类器？ 提升方法的基本思路 u怎样获得不同的弱分类器？ u使用不同的弱学习算法得到不同基本学习器 u 参数估计、非参数估计… u使用相同的弱学习算法，但用不同的参数 uK-Mean不同的K，神经网络不同的隐含层… u相同输入对象的不同表示凸显事物不同的特征 u使用不同的训练集 装袋 （bagging ） 提升 （boosting ） 提升方法的基本思路 Bagging ，也称为自举汇聚法(boostrap aggregating) 从原始数据集选择S次后得到S个新数据集 新数据集和原数据集的大小相等 每个数据集都是通过在原始数据集中随机选择样本来进 行替换而得到的。 S个数据集建好之后，将某个学习算法分别作用于每个数 据集就得到S个分类器。 选择分类器投票结果中最多的类别作为最后的分类结果。 改进的Bagging算法，如随机森林等。 提升方法的基本思路 u怎样组合弱分类器？ u多专家组合 一种并行结构，所有的弱分类器都给出各自的预测 结果，通过 “组合器”把这些预测结果转换为最终 结果。 eg.投票 （voting ）及其变种、混合专家模型 u多级组合 一种串行结构，其中下一个分类器只在前一个分类 器预测不够准 （不够自信）的实例上进行训练或检 测。 eg. 级联算法 （cascading ） AdaBoost算法 1990年，Schapire最先构造出一种多项式级的算法， 即最初的Boost算法; 1993年，Drunker和Schapire第一次将神经网络作为 弱学习器，应用Boosting算法解决OCR 问题; 1995年，Freund和Schapire提出了 Adaboost(Adaptive Boosting)算法，效率和原来 Boosting算法一样，但是不需要任何关于弱学习器性 能的先验知识，可以非常容易地应用到实际问题中。 AdaBoost算法 AdaBoost Adaptive Boosting A learning algorithm Building a strong classifier a lot of weaker ones AdaBoost算