11第十一章 R软件与随机森林.pdfVIP

数据挖掘与R软件实战演练 中级课程 主讲人：程豪 第十一章 R软件与随机森林 内容概要 •随机森林理论学习： •发展脉络 •理论概述 •特征选择 •特点 • R软件实现 发展脉络 单棵决策 组合算法，如 随机森林 树 bagging,adab oost • 精度 • 提高 • 进一步提 低 精度 高精度 4 随机森林 森林：大量决策树的集合 随机：在建树过程中引入随机性，以此 提高组合预测精度 合起来，即为 “随机森林”，重点在于 “随机” 具体来说，对训练样本随机化，对变量 随机化 5 引例 单个资产风险（+ ） 投资组合风险 资产之间相关性（- ） 个人能力（+ ） 团队做项目 队员之间的相关 性/相似性（- ） 结果取决于单个个体、个体之间相关性 6 影响精度因素 类比理解： 单棵树强度（+ ） 随机森林精度 树之间相关性（- ） 外推误差： 7 随机森林，是用随机的斱式建立一个森林，森林里边 有很多的决策树组成，随机森林的每一棵决策树之间 是没有关联的。在得到森林之后，当有一个新的输入 样本进入的时候，就让森林中的每一棵决策树分别进 行判断，看看这个样本应该属于哪一类（对于分类算 法），然后看看哪一类被选择最多，就预测这个样本 为那一类。它是一种统计学习理论，利用bootstrap重 抽样斱法从原始样本中抽取多个样本，对每个 bootstrap样本进行决策树建模，然后组合多棵决策树 的预测，通过投票得出最终预测结果。 随机森林 外推误差： 随机森林：在保持单颗树精度丌变下，通过 引入随机性，降低树不树之间的相关性， 来提高预测精度 9 随机森林的构建过程 自助样本集1 树分类器1 … … 全 部 自助样 树分 随机 投票 训 本集i 类器i 森林 分类 练 样 … … 本 自助样本集j 树分类器j 随机森林原理 • 随机森林分类（RFC ）是由很多决策树分类模型