r语言之randomforest随机森林.pdfVIP

R 语言之 Random Forest 随机森林 什么是随机森林？ 随机森林就是通过集成学习的思想将多棵树集成的一种算 法，它的基本单元是决策树，而它的本质属于机器学习的一 大分支——集成学习（ Ensemble Learning ）方法。随机森林 的名称中有两个关键词， 一个是 “随机”，一个就是 “森林”。 “森林”我们很好理解，一棵叫做树，那么成百上千棵就可 以叫做森林了，这样的比喻还是很贴切的，其实这也是随机 森林的主要思想 --集成思想的体现。 随机森林算法的实质是基于决策树的分类器集成算法，其中 每一棵树都依赖于一个随机向量，随机森林的所有向量都是 独立同分布的。随机森林就是对数据集的列变量和行观测进 行随机化，生成多个分类数，最终将分类树结果进行汇总。 随机森林相比于神经网络，降低了运算量的同时也提高了预 测精度，而且该算法对多元共线性不敏感以及对缺失数据和 非平衡数据比较稳健，可以很好地适应多达几千个解释变量 数据集。 随机森林的组成 随机森林是由多个 CART 分类决策树构成， 在构建决策树过 程中，不进行任何剪枝动作，通过随机挑选观测（行）和变 量（列）形成每一棵树。对于分类模型，随机森林将根据投 票法为待分类样本进行分类；对于预测模型，随机森林将使 用单棵树的简单平均值来预测样本的 Y 值。 随机森林的估计过程 1）指定 m 值，即随机产生 m 个变量用于节点上的二叉树， 二叉树变量的选择仍然满足节点不纯度最小原则； 2 ）应用 Bootstrap 自助法在原数据集中有放回地随机抽取 k 个样本集，组成 k 棵决策树，而对于未被抽取的样本用于单 棵决策树的预测； 3 ）根据 k 个决策树组成的随机森林对待分类样本进行分类 或预测，分类的原则是投票法，预测的原则是简单平均。 随机森林的两个重要参数： 1.树节点预选的变量个数： 单棵 决策树决策树的情况。 2. 随机森林中树的个数： 随机森林的 总体规模。 随机森林模型评价因素 1）每棵树生长越茂盛，组成森林的分类性能越好； 2 ）每棵树之间的相关性越差，或树之间是独立的，则森林 的分类性能越好。 减小特征选择个数 m，树的相关性和分类能力也会相应的降 低；增大 m，两者也会随之增大。所以关键问题是如何选择 最优的 m （或者是范围），这也是随机森林唯一的一个参数。 对于分类问题（将某个样本划分到某一类） ，也就是离 散变量问题， CART 使用 Gini 值作为评判标准。定义为 Gini=1- ∑(P(i)*P(i)),P(i) 为当前节点上数据集中第 i 类样本的 比例。例如：分为 2 类，当前节点上有 100 个样本，属于第 一类的样本有 70 个，属于第二类的样本有 30 个，则 Gini=1-0.7 ×07-0.3 ×03=0.42 ，可以看出，类别分布越平均， Gini 值越大，类分布越不均匀， Gini 值越小。 在寻找最佳的分类特征和阈值时，评判标准为： argmax （Gini-GiniLeft-GiniRight ），即寻找最佳的特征 f 和阈值 th ， 使得当前节点的 Gini 值减去左子节点的 Gini