XGBoost模型XGBoost模型浙江广厦建设大学95课件讲解.pptxVIP

浙江广厦建设职业技术大学XGBoost模型XGBoost模型主讲老师：金超杰

XGBoost模型如果说GBDT是梯度提升算法的经典实现，那么XGBoost就是在GBDT基础上进行了全方位升级的增强版。

为什么它能取得如此巨大的成功？它在算法设计、计算效率和工程实现上做了哪些创新？XGBoost模型

GBDT的核心思路：通过迭代拟合残差来逐步降低模型偏差。XGBoost的创新之处：算法层面的正则化与剪枝优化、工程层面的并行计算与分布式训练，以及应用层面的缺失值自动处理和高维特征支持。本章导论

XGBoost的创新点与优势——正则化与剪枝策略XGBoost的第一大创新，在于正则化与剪枝策略传统GBDT只用损失函数的一阶导数，也就是梯度，来指导树的生长。XGBoost则引入了二阶导数，即海森矩阵信息。这意味着XGBoost不仅能知道误差的方向，还能知道误差变化的速率，从而更精确地确定分裂点。此外，XGBoost在目标函数中显式加入了L1和L2正则化项，对叶节点的权重进行约束：L1正则化倾向于产生稀疏模型，起到特征选择的作用。L2正则化限制权重大小，防止模型过于复杂。

在树的生长策略上，XGBoost采用“后剪枝”：先让树生长到最大深度，再从下往上回溯。如果某个分裂带来的增益不足以抵消正则化惩罚，就将其剪掉。这种策略比传统的“预剪枝”更灵活，能避免过早停止导致的欠拟合。XGBoos