XGBoost 高频面试题及详细答案（实战向）.docxVIP

XGBoost高频面试题及详细答案（实战向）

一、基础概念类

1、简单说下XGBoost是什么，和传统GBDT的核心区别？

XGBoost是基于梯度提升决策树的分布式、高效改进算法，属于集成学习中的Boosting系列，核心是多棵决策树串行迭代训练，累加所有树的预测结果得到最终输出，主要用于分类、回归、排序任务。

它和传统GBDT的核心区别主要有四点：

第一，损失函数不同。传统GBDT只利用损失函数的一阶导数做梯度拟合；XGBoost同时用到一阶、二阶导数，拟合精度更高，收敛更快，对不同损失函数的适配性也更好。

第二，加入了正则化。XGBoost在目标函数中加入L1、L2正则，同时限制树的深度、叶子节点数量，有效抑制过拟合，而原生GBDT基本没有正则约束。

第三，支持并行计算。GBDT只能串行训练每一棵树，无法并行；XGBoost在单棵树的节点分裂过程中可以并行计算特征增益、排序特征，大幅提升训练速度（注意：树与树之间依然是串行）。

第四，工程优化更完善。XGBoost支持缺失值自动处理、列采样、行采样、学习率衰减，还支持分布式训练，原生GBDT不具备这些能力。

2、Boosting和Bagging的核心区别是什么？XGBoost属于哪一种？

XGBoost属于Boosting算法。两者核心差异集中在训练方式、样本权重、模型关系、偏差方差四个维度：

1.训练方式：Boosti