随机森林原理解释与其中各个参数地含义中文解释.pdfVIP

一 、 RF 原理解释： 首先，从给定的训练集通过多次随机的可重复的采样得到多个 bootstrap 数据集。接着，对每个 bootstrap 数据集构造一棵决策树，构造是通过迭代的将数据点分到左右两个子集中实现的，这个分割过程是一个搜 索分割函数的参数空间以寻求最大信息增量意义下最佳参数的过程。然后，在每个叶节点处通过统计训练 集中达到此叶节点的分类标签的直方图经验的估计此叶节点上的类分布。这样的迭代训练过程一直执行到 用户设定的最大树深度（随机森林提出者 Breiman 采用的是 ntree=500 ）或者直到不能通过继续分割获取更 大的信息增益为止，网上的代码中作者都是对树的最大深度设置了最大值。 二、函数，参数的中文解释 function model = classRF_train(X,Y,ntree,mtry, extra_options) 随机森林中模型的训练 X, 表示输入的数据矩阵 Y 输出 Ntree 设置的树的数目 Mtry 的默认值为 floor(sqrt(size(X,2)) ，表示不超过矩阵 X 列数的二次开根值的整数。 extra_options 包含很多控制 RF 的项 extra_options.replace 取值为 1 或 0 ，默认值为 1 ，表示是否做变量替换 extra_options.classwt 表示预先知道的类， 函数首先得到一个升序排列的标签然后给先前的类 同样的排序。 extra_options.cutoff 只在分类器中使用的一个向量， 长度等于类的数目。 对类的观察值是取 对 cutoff 投票占的的最大比例的一个。 extra_options.strata 用于分层抽样 extra_options.sampsize 样本的长度 extra_options.nodesize 表示终端节点的最小值，这个参数设置得越大会使更小的树生长，耗 时更少。 extra_options.importance 判断是否需要对预测器的 importance 进行评估 extra_options.localImp 决定是否对 casewise 的重要性度量进行计算 extra_options.proximity 判别是否计算行之间的距离 extra_options.oob_prox 判断是否计算 out-of-bag extra_options.do_trace 如果设定为 TRUE ，当随机森林运行的时候输出更多冗长的数据。如果 设置为一些整数，输出每个追踪树。 extra_options.keep_inbag 通过树的数目矩阵跟踪每个样本在树上的 in-bag 。 norm_votes 统计每一类的投票数 importance 对于分类器来说是一个列数等于类别数加二，第一列计算精度下降值。在 ncalss+1 列表示所有类平均精度减少值。 最后一列表示 Gini 指数平均减小值。 在随机森林用于回归的应用 中 importance 表示的含义又不一样，我们只用到分类的作用，所以对回归的含义不做介绍。 importanceSD 标准差 localImp 包含 importance 标准化残差测量值的矩阵 ntree 生长的树的数目 mtry 在每一个分裂节点处样本预测器的个数。 Votes 一个矩阵，行表示每一个输入数据点，列表示每一类，记录投票数。 Proximity 如果 proximity=TRUE 表示随机森林被调用。 Combine 把树结合起来 getTree(rfobj, k=1, labelVar=FALSE) ，这个函数的作用是从随机森林中提取树的结构， rfob 表示对应的随机森林， k 表示要提取的那棵树， , labelVar 表示是否是最好的标签用于变量分离 和类的预测。在分类器预测中分裂点用整数表示，比如预测器如果有四个参数，分裂点是十三， 1 2 3 就表示成（ 1.0.1.1 ）因为 13 1*