Kaggle老手领你入门梯度提升——梯度提升两三事.docxVIP

Kaggle老手领你入门梯度提升——梯度提升两三事本文章来自于阿里云云栖社区摘要：?梯度提升方法（Gradient Boosting）在众多机器学习竞赛中有着广泛的应用。本文介绍了梯度提升的基本概念，并结合实例讨论了梯度提升方法在实践中应用。更多深度文章，请关注：?/cloud作者简介：Ben Gorman（原文链接：/ben519），痴迷于数据，数据科学爱好者，现居住于新奥尔良。在我加入GormAnalysis（原文链接：/?spm=5176.100239.blogcont71144.11.5n50JR）之前，我曾在Strategic Comp（原文链接：/Insurance/Strategic-Comp/Pages/default.aspx?spm=5176.100239.blogcont71144.12.4KCLeh）工作了五年时间，担任高级数据分析师的职位。我热衷于讨论数据科学，因此，如果你有任何疑问，不要犹豫，欢迎随时给我发邮件：bgorman@。在2016年9月份，我在Kaggle社区中的全球排名到达了前1%。本篇文章最初发表在作者的个人博客（原文链接：/gradient-boosting-explained/?spm=5176.100239.blogcont71144.14.aL2JoB）当中。如果我们把线性回归比作丰田凯美瑞，那么梯度提升就好比UH-60黑鹰直升机。XGBoost（原文链接：/dmlc/xgboost?spm=5176.100239.blogcont71144.15.VFGPKD），一个梯度提升的具体实现，在Kaggle（原文链接：/?spm=5176.100239.blogcont71144.16.Z9sk6q）社区中被广泛应用于各类机器学习竞赛。然而不幸的是，许多使用者（包括从前的我）把梯度提升当做一个黑盒来使用。在一些数据科学家的博客当中，也提出了很多对梯度提升的批评。因此，本篇文章的目的在于直观且全面地介绍经典的梯度提升方法。前期准备本文将从一个简单的示例开始。我们希望根据一个人是否玩视频游戏、是否喜欢园艺以及戴帽子时的特点来判断这个人的年龄。我们的目标是最小化均方误差。我们总共有九个训练样本来构建模型。直观地说，我们可能希望喜欢园艺的人年纪可能比较大喜欢视频游戏的人可能比较年轻对帽子的喜好可能对年龄的预测没有帮助我们可以快速粗略地检测训练数据，看看这些假设是否成立：现在，让我们使用回归树对数据进行建模。首先，我们要求回归树的叶子节点至少有三个样本数据。考虑到这一点，回归树只会根据LikesGardening这个特征进行一次划分。这样做很好，但是这种做法忽略了PlaysVideoGames特征中包含的宝贵信息。我们可以尝试让回归树的叶子节点保留两个样本数据。在这里，我们综合考虑PlaysVideoGames以及LikesHats特征中蕴含的信息，这些信息表明我们的模型陷入了过拟合，回归树的属性划分受到了随机噪声的影响。此时，使用单一决策/回归树的缺点就暴露出来了——在整个特征空间中，我们无法对多个彼此重叠的区域进行预测。假设我们计算第一棵回归树的训练误差。现在，我们可以根据第一棵回归树的残差构建另一棵回归树。注意，尽管前面过拟合的回归树考虑了LikesHats特征，但是这个模型并没有考虑这个特征。这是因为，与过拟合的回归树不同，第二棵回归树能够结合所有训练样本，综合考虑LikesHats特征与PlaysVideoGames特征的信息。而过拟合回归树仅考虑了输入空间中小范围内的特征信息，进而允许随机噪声选择LikesHats作为划分特征。现在，我们可以通过增加误差校正预测来改进第一棵回归树的预测效果。梯度提升——思路1受到前面想法的启发，我们可以构建一个简单的梯度提升方法。伪码如下：根据数据拟合一个模型，F1(x) = y根据残差拟合一个模型，h1(x) = y - F1(x)构建一个新模型，使得F2(x) = F1(x) + h1(x)不难看出，我们可以通过引入更多的模型来纠正前一个模型的错误，从而扩展这个模型。特别地其中，F1(x)表示拟合至y的初始模型由于我们通过拟合F1(x)来初始化模型，在之后每一步，我们的任务是找到hm(x) = y - Fm(x)。这里需要注意一点。hm只是一个模型。在我们的定义中，并没有要求hm是一个基于树形结构的模型。这正是梯度提升更宽泛的概念以及优势之一。这仅仅只是一个通过迭代改善弱学习器效果的计算框架。所以，从理论上讲，一个良好编码的梯度提升模块能够根据需要随意插入各种各样的弱分类器。然而，在实践中，hm几乎总是一个基于树的学习器，因此，在此我们可以将hm理解为示例中的那种回归树。梯度提升——思路2现在，我们将调整我们的模型以符合大多数梯度提升方法的实