随机森林实验报告.pdfVIP

. 随机森林实验报告 实验目的 实现随机森林模型并测试。 实验问题 Kaggle 第二次作业 Non-linear classification 算法分析与设计 一．算法设计背景 : 1. 随机森林的原子分类器一般使用决策树， 决策树又分为拟合树和分类树。 这两者的区 别在于代价估值函数的不同。 2. 根据经验，用拟合树做分类的效果比分类树略好。 3. 对于一个 N 分类问题 , 它总是可以被分解为 N 个 2 分类问题，这样分解的好处是其决 策树更加方便构造， 更加简单， 且更加有利于用拟合树来构建分类树。 对于每一个 2 分类问 题，构造的树又叫 CART树，它是一颗二叉树。 4. 将 N个 2 分类树的结果进行汇总即可以得到多分类的结果。 5.CART树构造： 教育范文 . 6. 随机森林构造： 二．算法思路： 将一个 N 分类问题转化为 N 个二分类问题。 转化方法是： 构造 N棵二叉拟合树， 这里假 设 N 为 26 ，然后我们给 N棵二叉树依次标号为 1，2， 3...26 。1 号树的结果对应于该条记 录是不是属于第一类，是则输出 1，否则输出 0.2 号树的结果对应于该条记录是不是属于第 二类，是则 1 否则 0，依此类推。这样，我们的 26 棵二叉树的结果就对应了 26 个下标。 例如对于某条记录，这 26 个二叉树的结果按序号排列为 {0 ，0，0 ，0 ，0， 0，0 ，0 ，0，0 ， 0，0 ，0，0，0 ，...1,0} ，那么这条记录的分类应该为 25。要将一个 26 维的 0， 1 序列变 回 一个索引，我们只需要找出这个序列中值最大的元素的索引，这个索引即是序列号。 我们将上面的 26 棵分别对 26 个索引做是否判断的二分类树视为一个整体， 在多线程的 环境下， 构造多个这样的整体， 然后进行求和运算， 最后取出每个结果序列中值最大的元素 的下标作为分类值，那么久得到了我们想要的结果，随机森林完成。 三．算法流程： 1. 读入训练集 trainset, 测试集 testset 2. 将训练集分割为输入 trainIn, 输出 trainOut 3. 这里假设类别数 N 为 26 ，将 trainOut[ 记录条数 ] 映射为 transformTrainOut[ 训练记录 数][26] 4. 初始化 transformTestOut[ 测试记录数 ][26] 全部为 0 5.For i = 1 : ForestSize: // 对训练集采样，这里要注意输入和输出一致 [sampleIn,transformSampleOut] = TakeSample(trainIn,transformTrainOut) For category = 1 : 26: //CartTree 数组存放着 26 棵二分类树 CartTree[category] = TrainCartTree(sampleIn,transformSampleOut); end //transformTestOut[ 测试记录数 ][26] 为承接二分类树输出的容器 for i1 = 1 : testSetNum: For category = 1 : 26: transformTestOut[i1][category]