XGBoost 常见面试题及详细答案.docxVIP

  • 2
  • 0
  • 约3.46千字
  • 约 10页
  • 2026-11-16 发布于河北
  • 举报

XGBoost常见面试题及详细答案

1.简述XGBoost的基本原理,它和GBDT的核心区别是什么?

答案:

XGBoost属于梯度提升树模型,基础单元是CART回归树,采用加法模型,逐轮训练弱学习器,每一棵树都去拟合前面所有树累加结果的残差方向,不断降低损失。

GBDT在更新的时候,只利用损失函数的一阶导数(梯度);XGBoost同时用到损失函数的一阶导数和二阶导数,相当于在做牛顿法优化,收敛速度更快。

除此之外,XGBoost额外增加了正则项来控制树的复杂度,支持列采样、行采样,内置缺失值自动分裂策略,并且做了大量工程层面的优化,比如预排序、分桶、缓存优化、并行分裂。

2.XGBoost的目标函数由哪两部分组成,写出公式并解释每一项含义

答案:

目标函数:

L

i=

k=

树复杂度正则定义:

Ω

T:当前这棵树的叶子节点数量

wj:第j

γ:叶子数量惩罚系数,控制叶子不要过多

λ:叶子权重的L2正则系数,限制叶子输出不要太大

3.为什么XGBoost要用二阶导数,只用一阶导数会有什么问题?

答案:

一阶导数只代表损失下降的方向,不知道这个方向上损失的曲率,步长选择比较盲目。二阶导数可以反映损失在该点的凹凸程度,相当于知道梯度变化快慢,可以算出更合适的更新步长,收敛更快,迭代轮次更少。

只用一阶导数就是传统GBDT的思路,等价于梯度下

文档评论(0)

1亿VIP精品文档

相关文档