提升树算法原理与应用.pdfVIP

集成学习

EnsembleLearning

1

目录Boosting

2

BoostingTree

提升

Boosting

◆提升（Boosting），与AdaBoost类似，梯度提升也是逐步在集成中添加预测器，每一个

都对其前序做出改正。不同之处在于，它不是像AdaBoost那样在每个迭代中调整实例权

重，而是让新的预测器针对前一个预测器的残差进行拟合。

◆提升树中每一棵树学的是之前所有树结论的残差，残差就是值和预测值得差值。如

A的是18，第一棵树预测是12岁，则残差值为6。接下来在第二颗树把A的

当成6岁去学习，如果第二颗树能把A分到6岁的叶子节点，那累加两棵树的结论就

是A的；如果第二棵树的结论是5岁，则A仍然存在