第五讲 决策树与集成学习.pptVIP

*Adaboost小结Adaboost的主要优点有：1）Adaboost作为分类器时，分类精度很高2）在Adaboost的框架下，可以使用各种回归分类模型来构建弱学习器，非常灵活。3）作为简单的二元分类器时，构造简单，结果可理解。4）不容易发生过拟合Adaboost的主要缺点有：1）对异常样本敏感，异常样本在迭代中可能会获得较高的权重，影响最终的强学习器的预测准确性。

GBDT（GradientBoostingDecisionTree，梯度提升树）也是集成学习Boosting家族的成员，但是却和传统的Adaboost有很大的不同。Boosting之GBDT*GBDT使用的决策树是CART回归树，无论是处理回归问题还是二分类以及多分类，GBDT使用的决策树都是CART回归树。通俗理解：假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁拟合剩下的差距，差距就只有一岁了。如果我们的迭代轮数还没有完，可以继续迭代下面，每一轮迭代，拟合的岁数误差都会减小。最后将每次拟合的岁数加起来便是模型输出的结果。*上面伪代码中的残差是什么？

在提升树算法中，假设我们前一轮迭代得到的强学习器是损失函数是我们本轮迭代的目标是找到一个弱学习器最小化本轮的损失***/Freemanz