Different Boosting Methods.pdf

Various Boosting Methods Various Boosting Methods • 1. Boosting 的Margin 解释 • 2. Different Boosting Methods • 3. Bagging and OOB Various Boosting Methods • 1. Boosting 的Margin 解释 • 2. Different Boosting Methods • 3.Bagging and OOB 1. Boosting 的 Margin 解释 Freund 和 Schapire 于 1997 年发表文章创立 AdaBoost 《A decision theoretic generalization of on-line learning and an application to boosting》 没有过拟合现象！！！ Schapire 和 Freund 提出了没有过拟合的 margin 解释 1. Boosting 的 Margin 解释 Paradox phenomenon: 1、泛化误差并不随着迭代次数的增加而增大 2、泛化误差在训练误差达到零之后，仍然随着 迭代次数的增加而减小 Breiman 给出的解释是“voting methods work primarily by reducing the ‘variance’ of the learning algorithm ” Schapire 反驳 “large variance of the base hypotheses is not a requirement for boosting to be effective ” 《Bias, variance, and arcing classifiers》 《Boosting the margin: A new explanation for the effectiveness of voting methods》 1. Boosting 的 Margin 解释 Margin 特性: 1、margin 的取值范围为 [-1 ， 1] 2、当正确分类时，margin 大于零，否则 margin 小于零 3、margin 的大小表示了正确分类的 confidence Margin对泛化误差影响的直观体现： 如果一个样本的margin越大，微小的弱学习器权重的改变不会改变margin的符号，如果大多数的样本都 有较大margin，那么根据多数投票原则得到的结果就会相似，也即泛化误差较小。 Schapire证明泛化误差与 the entire distribution of margins of training examples 、the number of training examples 、the complexity of the base classifiers 有关 0 训练样本数量 − ℎℎ 《Boosting the margin: A new explanation for the effectiveness of voting methods》 1. Boosting 的 Margin 解释 Paradox phenomenon 的解释: 1、泛化误差并不随着迭代次数的增加而增大 每个样本都有较大的margin 2、泛化误差在训练误差达到零之后，仍然随着迭代次数的增加而减小 在训练误差达到0之后，margin继续增大，confidence增加， 训练集与测试集来自于同一分布的情况下，学习器适用于测试集的效果也就越来越好。 《Boosting the margin: A new explanation for the effectiveness of voting methods》 1. Boosting 的 Margin 解释 Breiman 的质疑: 1999年Breiman发表文章 《Prediction games and arcing algorithms》根据Schapire