GBDT算法及其应用.ppt

第三部分：GBDT应用 GBDT+LR GBDT的思想使其具有天然优势，可以发现多种有区分性的特征以及特征组合，决策树的路径可以直接作为LR输入特征使用，省去了人工寻找特征、特征组合的步骤。 第三部分：GBDT应用 由于树的每条路径，是通过最小化均方差等方法最终分割出来的有区分性路径，根据该路径得到的特征、特征组合都相对有区分性，效果理论上不会亚于人工经验的处理方式。 第三部分：GBDT应用 实验 Kaggle比赛:Display Advertising Challenge 详细介绍：/c/criteo-display-ad-challenge 实验过程：(比赛第一名：GBDT+FM) 参考：/guestwalk/kaggle-2014-criteo （Xgboost：/dmlc/xgboost） 实验结果：尚未完成，报告加上 第四部分：总结 总结 展望 References 《统计学习方法》 Friedman J H. Greedy function approximation: a gradient boosting machine[J]. Annals of statistics, 2001: 1189-1232. Friedman J H. Stochastic gradient boosting[J]. Computational Statistics Data Analysis, 2002, 38(4): 367-378. He X, Pan J, Jin O, et al. Practical Lessons from Predicting Clicks on Ads at Facebook[C]// Eighth International Workshop on Data Mining for Online Advertising. ACM, 2014:1-9. Yuan T T, Chen Z, Mathieson M. Predicting eBay listing conversion[C]//Proceedings of the 34th international ACM SIGIR conference on Research and development in Information Retrieval. ACM, 2011: 1335-1336. Tyree S, Weinberger K Q, Agrawal K, et al. Parallel boosted regression trees for web search ranking[C]//Proceedings of the 20th international conference on World wide web. ACM, 2011: 387-396. /guestwalk/Kaggle-2014-criteo /dmlc/xgboost http:Thank you! /iwps/ /kingsoftwps/ Company Logo LOGO Company Logo Gradient Boosting Decision Tree And Its Application 班级：** 学生：** 学号：** 报告大纲 第一部分：引言（概念介绍） 决策树 boosting方法 损失函数 GBDT定义 第二部分：GBDT算法原理 加法模型 前向分步算法 提升树算法 梯度提升树算法 Regularization 第三部分：GBDT应用 应用范围 实例：CTR预估 GBDT特征转换 LR+GBDT 第四部分：总结 第一部分：概念介绍 决策树 boost方法 损失函数 GBDT定义 第一部分：概念介绍 决策树：是将空间用超平面进行划分的一种方法 分类树 回归树 单决策树时间复杂度较低，模型容易展示，但容易over-fitting 决策树的boost方法：是一个迭代的过程，每一次新的训练都是为了改进上一次的结果. 传统Boost：对正确、错误的样本进行加权，每一步结束后，增加分错的点的权重，减少分对的点的权重。 GB：梯度迭代 Gradient Boosting，每一次建立模型是在之前建立的模型损失函数的梯度下降方向 第一部分：概念介绍 损失函数(loss function)： 描述的是模型的不靠谱程度，损失函数越大