随机森林实验报告.docVIP

随机森林实验报告 实验目的 实现随机森林模型并测试。 实验问题 Kaggle第二次作业Non-linear classification 算法分析与设计 一．算法设计背景: 1.随机森林的原子分类器一般使用决策树，决策树又分为拟合树和分类树。这两者的区别在于代价估值函数的不同。 2.根据经验，用拟合树做分类的效果比分类树略好。 3.对于一个N分类问题,它总是可以被分解为N个2分类问题，这样分解的好处是其决策树更加方便构造，更加简单，且更加有利于用拟合树来构建分类树。对于每一个2分类问题，构造的树又叫CART树，它是一颗二叉树。 4.将N个2分类树的结果进行汇总即可以得到多分类的结果。 5.CART树构造： 随机森林构造： 算法思路： 将一个N分类问题转化为N个二分类问题。转化方法是：构造N棵二叉拟合树，这里假设N为26，然后我们给N棵二叉树依次标号为1，2，3...26。1号树的结果对应于该条记录是不是属于第一类，是则输出1，否则输出0.2号树的结果对应于该条记录是不是属于第二类，是则1否则0，依此类推。这样，我们的26棵二叉树的结果就对应了26个下标。 例如对于某条记录，这26个二叉树的结果按序号排列为{0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，...1,0}，那么这条记录的分类应该为25。要将一个26维的0，1序列变回 一个索引，我们只需要找出这个序列中值最大的元素的索引，这个索引即是序列号。 我们将上面的26棵分别对26个索引做是否判断的二分类树视为一个整体，在多线程的环境下，构造多个这样的整体，然后进行求和运算，最后取出每个结果序列中值最大的元素的下标作为分类值，那么久得到了我们想要的结果，随机森林完成。 算法流程： 读入训练集trainset,测试集testset 将训练集分割为输入trainIn,输出trainOut 这里假设类别数N为26，将trainOut[记录条数] 映射为 transformTrainOut[训练记录数][26] 4.初始化transformTestOut[测试记录数][26]全部为0 5.For i = 1 : ForestSize: //对训练集采样，这里要注意输入和输出一致 [sampleIn,transformSampleOut] = TakeSample(trainIn,transformTrainOut) For category = 1 : 26: //CartTree 数组存放着26棵二分类树 CartTree[category] = TrainCartTree(sampleIn,transformSampleOut); end //transformTestOut[测试记录数][26]为承接二分类树输出的容器 for i1 = 1 : testSetNum: For category = 1 : 26: transformTestOut[i1][category] += predict(CartTree[category],testset[i1]) end End End 遍历 transformTrainOut[]，将其每一行的最大值的下标作为该行记录的索引值。 决策树及随机森林的配置 1.决策树 在这里，我们每一次26分类是由26棵CART共同完成的，CART的cost function采用的是gini系数，CART的最大层数为7，分裂停止条件为当前节点GINI为0或者当前节点所在层数到达了7. 随机森林 a.随机森林每次循环的训练集采样为原训练集的0.5. b.对于森林中每一棵决策树每一次分割点的选取，对属性进行了打乱抽样，抽样数为25，即每次分割只在25个属性中寻找最合适的值。并且对于每个选取的属性，我们进行了行采样。即如果这个属性所拥有的属性值数大于30，我们选取其中30个作为分割候选，如果小于30，则全部纳入分割候选。 代码详解 训练集/测试集的读入 a.在dataDefine.h中定义了： 训练集记录列数numparametres （ID（1） + 参数数量（617） + 输出（1） = 619） 训练集记录条数transetNum 测试集记录条数testsetNum 分类类型数typesNum 而在main.cpp中，我们声明了全局变量 trainIn用于装载训练集输入，trainOut用于装载训练集的输出（这里trainOut是二维数组是出于模型如果泛化，那么输出值不一定只有一个的情况，在本次实验中并未派上