大规模机器学习算法GBDT及应用.pdf

大规模机器学习算法大规模机器学习算法大规模机器学习算法大规模机器学习算法GBDTGBDT及应及应及应及应 用用 王志伟（冰逸） 2015.06.272015.06.27 个人个人个人个人 王志伟王志伟 （（冰逸冰逸）） ◦2008-2011 ：北航计算机硕士 ◦2011-2012 ：网易有道搜索组 ◦2012-2014 ：百度百度 网页搜索网页搜索LTR组组 ◦2014-至今：阿里推荐投放算法小组 大纲大纲大纲大纲 GBDTGBDT算法介绍算法介绍 GBDT实现原理 GBDT并行实现 应用应用 GBDTGBDTGBDTGBDT算法介绍算法介绍算法介绍算法介绍  损失函数损失函数损失函数损失函数  损失函数损失函数损失函数损失函数  损失函数损失函数损失函数损失函数   示例示例示例示例  Gradient descentGradient descentGradient descentGradient descent  Gradient descentGradient descentGradient descentGradient descent  Gradient boostGradient boostGradient boostGradient boost  Gradient boostingGradient boostingGradient boostingGradient boosting  Gradient boostingGradient boosting Gradient boostingGradient boosting    Gradient boostingGradient boostingGradient boostingGradient boosting f(x)f(x) … Decision TreeDecision TreeDecision TreeDecision Tree 0.5 if x[1]= 0.5 x[2]=1 FeaFea_11 00.7 if7 if x [1]= 0[1]= 0.5 5 x [2]1[2]1 = 0.5 g(x) YES NO 0.8 if x[1] 0.5 x[2]=2 Fea_2 Fea_2 = 1 = 2 1.0 if x[1] 0.5 x[2]2 YES NO YES NO 0.5 0.7 0.8 1.0 Decision TreeDecision TreeDecision TreeDecision Tree Fit f(x)