LGB面试题及详细答案（实战完整版）.docxVIP

LGB面试题及详细答案（实战完整版）

一、基础原理类（高频必问）

1、简单说说LightGBM的核心原理，和传统GBDT有什么区别？

参考答案：

LightGBM是基于梯度提升决策树的改进算法，核心还是迭代训练弱决策树、拟合残差，累加所有树的结果得到最终预测值，整体训练逻辑和传统GBDT一致。

它和传统GBDT最大的区别是优化了训练效率和资源占用，摒弃了传统GBDT按层生长的策略，改用按叶子生长的方式。传统GBDT是同一层所有叶子全部分裂，不管叶子增益大小，冗余计算多；LightGBM每次只选择增益最大的叶子进行分裂，在相同迭代次数下，精度更高、收敛更快。

除此之外，它引入了两大核心优化：单边梯度采样、互斥特征捆绑，从数据和特征两个维度降低计算量，解决了传统GBDT处理大数据集速度慢、内存占用高的问题。

2、详细解释LightGBM的两大核心优化：GOSS和EFB

参考答案：

GOSS单边梯度采样

GOSS的核心逻辑是保留大梯度样本、舍弃小梯度样本。在GBDT训练中，梯度绝对值大的样本对模型更新、损失下降的贡献更大，梯度小的样本大多是拟合较好的样本，对模型优化帮助极小。

训练时，算法会筛选出梯度最大的部分样本全部保留，随机丢弃一部分小梯度样本，同时对保留的小梯度样本做权重放大，保证数据分布不偏移。这样能在几乎不损失模型精度的前提下，大幅减少每一轮迭代的计算量，提升训练速度。

EF