梯度提升决策树---机器学习——Gradient Boost Decision Tree(amp;Treelink).docx

机器学习——Gradient Boost Decision Tree(Treelink)1.????? 什么是Treelink????? Treelink是阿里集团内部的叫法，其学术上的名称是GBDT（Gradient Boosting Decision Tree，梯度提升决策树）。GBDT是“模型组合+决策树”相关算法的两个基本形式中的一个，另外一个是随机森林（Random Forest），相较于GBDT要简单一些。1.1??? 决策树????? 应用最广的分类算法之一，模型学习的结果是一棵决策树，这棵决策树可以被表示成多个if-else的规则。决策树实际上是将空间用超平面进行划分的一种方法，每次分割的时候，都将当前的空间一分为二，比如说下面的决策树：这样使得每一个叶子节点都是在空间中的一个不相交的区域。学习得到如上这棵决策树之后，当输入一个待分类的样本实例进行决策的时候，我们就可以根据这个样本的两个特征（x, y）的取值来把这个样本划分到某一个叶子节点，得到分类结果了，这就是决策树模型的分类过程，决策树的学习算法有ID3算法和C4.5算法等。?转自：/LeftNotEasy/archive/2011/01/02/machine-learning-boosting-and-gradient-boosting.html??? 本来上一章的结尾提到，准备写写线性分类的问题，文章都已经写得差不多了，但是突然听说最近Team准备做一套分布式的分类器，可能会使用Random Forest来做，下了几篇论文看了看，简单的random forest还比较容易弄懂，复杂一点的还会与boosting等算法结合（参见iccv09），对于boosting也不甚了解，所以临时抱佛脚的看了看。说起boosting，强哥之前实现过一套Gradient Boosting Decision Tree（GBDT)算法，正好参考一下。??? 最近看的一些论文中发现了模型组合的好处，比如GBDT或者rf，都是将简单的模型组合起来，效果比单个更复杂的模型好。组合的方式很多，随机化（比如random forest），Boosting（比如GBDT）都是其中典型的方法，今天主要谈谈Gradient Boosting方法（这个与传统的Boosting还有一些不同）的一些数学基础，有了这个数学基础，上面的应用可以看Freidman的Gradient Boosting Machine。??? 本文要求读者学过基本的大学数学，另外对分类、回归等基本的机器学习概念了解。??? 本文主要参考资料是prml与Gradient Boosting Machine。?Boosting方法：??? Boosting这其实思想相当的简单，大概是，对一份数据，建立M个模型（比如分类），一般这种模型比较简单，称为弱分类器(weak learner)每次分类都将上一次分错的数据权重提高一点再进行分类，这样最终得到的分类器在测试数据与训练数据上都可以得到比较好的成绩。?????? 上图（图片来自prml p660）就是一个Boosting的过程，绿色的线表示目前取得的模型（模型是由前m次得到的模型合并得到的），虚线表示当前这次模型。每次分类的时候，会更关注分错的数据，上图中，红色和蓝色的点就是数据，点越大表示权重越高，看看右下角的图片，当m=150的时候，获取的模型已经几乎能够将红色和蓝色的点区分开了。??? Boosting可以用下面的公式来表示：??? 训练集中一共有n个点，我们可以为里面的每一个点赋上一个权重Wi(0 = i n)，表示这个点的重要程度，通过依次训练模型的过程，我们对点的权重进行修正，如果分类正确了，权重降低，如果分类错了，则权重提高，初始的时候，权重都是一样的。上图中绿色的线就是表示依次训练模型，可以想象得到，程序越往后执行，训练出的模型就越会在意那些容易分错（权重高）的点。当全部的程序执行完后，会得到M个模型，分别对应上图的y1(x)…yM(x)，通过加权的方式组合成一个最终的模型YM(x)。??? 我觉得Boosting更像是一个人学习的过程，开始学一样东西的时候，会去做一些习题，但是常常连一些简单的题目都会弄错，但是越到后面，简单的题目已经难不倒他了，就会去做更复杂的题目，等到他做了很多的题目后，不管是难题还是简单的题都可以解决掉了。?Gradient Boosting方法：??? 其实Boosting更像是一种思想，Gradient Boosting是一种Boosting的方法，它主要的思想是，每一次建立模型是在之前建立模型损失函数的梯度下降方向。这句话有一点拗口，损失函数(loss function)描述的是模型的不靠谱程度，损失函数越大，则说明模型越容易出错（其