《GBDT特征重要性排序概述》1300字.docxVIP

GBDT特征重要性排序概述

1.1梯度提升回归树

GBDT梯度提升回归树REF_Re\r\h[18]，它由两种决策树组成，分别是回归树RT和分类树DT。回归树RT可以处理回归问题，分类树DT可以处理分类问题。GBDT分类树通过最小化数据集的GINI系数实现机器学习分类任务，通过最小二乘法来最小化输入与输出的总均方差来实现回归任务。回归树的生成可分成生成和剪枝（pruning）。

（1）回归树的生成

对于给定的训练数据集T=X1,Y1

（3-1）

其中，yi是第i个样本的标记值，xi是第i个样本的属性。通过求切分特征和切分点的最优解可以得到目标函数为：

（3-2）

其中，c1、c2分别是R1和R2中的模型对应y值的平均获得。遍历所有

步骤1：获取数据集，并根据数据集的第一特征属性的第一分量将数据划分为两个数据集R1和

步骤2：根据相应的c1和c

步骤3：重复步骤1和2查看数据集所有特征的所有组件，以获得平均平方误差数据。

步骤4：根据平均平方误差矩阵，寻求平均平方误差较小的分割方案，把分割点当作树的节点，把分割后的数据集分别赋值给节点的左右子树。

步骤5：重复步骤1-4，递归地将数据集分成更小的部分，直到总均方误差小于某个阈值，或者数据集中只有一种类型的数据。

GBDT回归树的生成过程贪心选择最优分割点，容易在生成树的过程中引入噪声，导致过