大数据挖掘与应用 第2章 数据预处理技术.pptVIP

2.7.4 基于GBDT的过滤式特征选择 GBDT(Gradient Boosting Decision Tree)是一种迭代的决策树算法，又称作MART（Multiple Additive Regression Tree)算法。该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。GBDT主要由三个概念组成：Regression Decision Tree（DT)，Gradient Boosting（GB)，Shrinkage。 决策树分为两大类，回归树和分类树。前者用于预测实数值；后者用于分类标签值。这里要强调的是，前者的结果加减是有意义的，如10岁+5岁-3岁=12岁，后者则无意义，如男+男+女=到底是男是女？ GBDT的核心在于累加所有树的结果作为最终结果，而分类树的结果是没办法累加的，所以GBDT中的树都是回归树，不是分类树，这点对理解GBDT相当重要，尽管GBDT调整后也可用于分类但不代表GBDT的树是分类树。 1． DT：回归树 Regression Decision Tree Boosting，迭代，即通过迭代多棵树来共同决策。GBDT的核心就在于，每一棵树学的是之前所有树结论和的残差，这个残差就是一个加预测值后能得真实值