为什么Kaggle数据分析竞赛者偏爱XGBoost.docxVIP

为什么Kaggle数据分析竞赛者偏爱XGBoost 本文章来自于阿里云云栖社区 摘要：?本文介绍了深受Kaggle数据分析竞赛参赛者欢迎的一个梯度提升算法实现-XGBoost，在分类算法中，XGBoost以速度制胜，精度与Sci-Kit Learn相当，在Kaggle竞赛中打败了AdaBoost（自适应提升算法）和RandomForest（随机森林算法）。 作者介绍：Matthew Emery，加拿大数据科学家，RAP爱好者，毕业于英属哥伦比亚大学。 Email：m.emery@alumni.ubc.ca LinkedIn：/in/lstmemery GitHub：/lstmemery 在数据科学领域有一个叫做“没有免费的午餐”定理，具体来说就是，对于任意两个算法，当它们在面对所有可能的问题时的表现被平均化后，这两个算法是等价的，如果这个定理成立，那为什么2015年在数据科学竞赛网站Kaggle上赢得比赛的绝大部分方案都采用了XGBoost呢？XGBoost是如何工作的呢？它运行起来又像什么呢？ 本文打算回答这些问题，注意，对你而言，不一定需要精通数学，但需要知道决策树是怎么一回事。 梯度提升树（Gradient Boosted Trees，GBT）科普 过度拟合相当于填鸭式的机器学习，如果你只知其然而不知其所以然，你就难以得到想要的结果，决策树就是典型的例子，因此，数据科学家必