福利-400页技术入门指南、技术进阶干货：数据派研究部独家文章大合集.pdfVIP

2017/8/20 独家 | 手把手教随机森林 独家 | 手把手教随机森林 原创 2017-08-17 Nitin Borwankar 数据派THU 本文是数据派研究部 “集成学习月”的第三篇文章 ，本月将陆续发布关于集中学习的话题内容 ，月末将 有答题互动活动来赢奖 ，欢迎随时留言讨论相关话题。 随机森林-概述 当变量的数量非常庞大时 ，你将采取什么方法来处理数据 ？ 通常情况下 ，当问题非常庞杂时 ，我们需要一群专家而不是一个专家来解决问题。例如Linux ，它是一个 非常复杂的系统 ，因此需要成百上千的专家来搭建。 以此类推 ，我们能否将许多专家的决策力 ，并结合其在专业领域的专业知识 ，应用于数据科学呢 ？现在 有一种称为 “随机森林”的技术 ，它就是使用集体决策来改善单一决策产生的随机结果。在这种方法 中 ，每个软件 “专家”使用树型算法来完成它们的任务 ，然后使用这样的树的集合来计算或推导出一个 算法模型 ，最终发现 ，最终推导出的模型比任何一个专家的输出结果将更优。 决策森林属于集成学习算法 ，集成学习 （ensemble learning ）颇受业内关注。集成学习是使用一系列 学习器进行学习 ，并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一 种机器学习方法。集成学习的代表性算法为Boosting系列算法和Bagging系列算法。 数据决策树 首先让我们了解基于单个决策树的决策机制。 许多大学生同时申请 “超级专业技术学院”。入学者的SAT历史平均分数是2,200 ，GPA的平均分是 4.9。我们获得1,000位申请人的申请信息。我们需要创建一个模型来预测最有可能被录取的学生。我们 该怎么做呢 ？ 一种方法是首先将SAT平均分超过2200的申请人划为一组 ，标注成 “更可能”。然后进一步以GPA的分 数划分 ， GPA小于或等于4.9的 ，划分为 “很有可能” ，GPA超过4.9的 ，划分为 “非常可能”。 然后 ，我们以同样的方法处理SAT分数低于2,200的组。GAP分数高的 ，划分为 “可能” ，GAP分数低的 划分为 “不可能”。这看似非常合理 ，但是存在很多的问题 ： /s?__biz MzI1MjQ2OTQ3Ng mid 2247485563idx 1sn 5d94 1d3b1b0b109527865e0e4b955901chksm e9e20… 1/ 18 2017/8/20 独家 | 手把手教随机森林 如果我们先以GPA成绩来划分 ，然后以SAT成绩划分 ，那分组结果会一致么?什么才是最好的划分方 式呢? 如果我们采用更多的标准 ，例如论文得分、选修课、获奖情况和体育特长等 ，我们应该用多少特征 以及哪些才是最重要的特征呢 ？ 在给定平均值的情况下 ，离散值和异常值如何 ？对于特征的分布如何影响误差率呢? 决策树利用数据的内部结构进行划分 ： 维基百科的这个图形[1]表示 “泰坦尼克号”幸存者数据集的内在结构。 以上就是一个决策树做决策的框架。 每个节点旁边的数字是生存概率 ，百分数代表该分类的观测值。每 个左分支对应的是 “是” ，右分支对应的是 “否”。 每个绿色节点代表 “幸存” ，每个红色的节点代 表 “没有幸存”。配偶或兄弟姐妹的数量记录为 “sibsp”。