数据挖掘十大算法之Adaboost.ppt

“ ” “ ” 数据挖掘十大算法之 AdaBoost An example 给定如下表所示的训练数据： 序号 1 2 3 4 5 6 7 8 9 10 x 0 1 2 3 4 5 6 7 8 9 y 1 1 1 -1 -1 -1 1 1 1 -1 AdaBoost算法 Adaptive Boosting AdaBoost 主要思想：从弱学习算法出发，反复学习，得到一系列弱 分类器，然后组合这些弱分类器，构成一个强 分类器。 几个概念 强可学习：在PAC学习的框架中，一个概念（类），如果存在一个多项式的学习算法能够学习它，并且正确率很高，那么就称这个概念是强可学习的 弱可学习：在PAC学习的框架中，一个概念（类），如果存在一个多项式的学习算法能够学习它，学习的正确率仅比随机猜测略好，那么就称这个概念是弱可学习的 在PAC学习框架下，一个概念是强可学习的充分必要条件是这个概念是弱可学习的 AdaBoost算法 . . . 弱分类器 强分类器 AdaBoost算法 AdaBoost算法 弱分类器1 AdaBoost算法 权重增大 弱分类器2 AdaBoost算法 权重增加 AdaBoost算法 弱分类器3 AdaBoost算法 最终的强分类器 AdaBoost算法 An example 给定如下表所示的训练数据： 序号 1 2 3 4 5 6 7 8 9 10 x 0 1 2 3 4 5 6 7 8 9 y 1 1 1 -1 -1 -1 1 1 1 -1 AdaBoost算法 Adaboost算法最终分类器的错误率是多少？ AdaBoost的目标：最小化损失函数 AdaBoost算法在人脸检测上的应用 参考文献：P. Viola and M. Jones. Robust real-time face detection. IJCV 57(2), 2004. 人脸检测的目标 级联分类器 人脸检测中的弱分类器 AdaBoost算法改进 参考文献： Y. Freund and R. E. Schapire. A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1):119–139, 1997. Y. Freund and R. E. Schapire. A short introduction to boosting. Journal ofJapanese Society for Arti?cial Intelligence, 14(5):771–780, 1999. “ ” “ ”