随机森林与支持向量机分类性能比较.docVIP

随机森林与支持向量机分类性能比较( 黄 衍，查伟雄 （华东交通大学交通运输与经济研究所，南昌 330013） 摘要：UCI数据集，从泛化能力、噪声鲁棒性和不平衡分类三个主要方面进行，得到的结论可为研究者选择和使用分类器提供有价值的参考。 关键词： 中图分类号： 文献标识码：Comparison on Classification Performance between Random Forests and Support Vector Machine HUANG Yan, ZHA Weixiong (Institute of Transportation and Economics, East China Jiaotong University, Nanchang 330013, China) 【Abstract 】Random Forests is an excellent classifier. In order to make Chinese scholars fully understand its performance, this paper compared it with Support Vector Machine widely used in China by means of data experiments to objectively show its classification performance. The experiments, using 20 UCI data sets, were carried out from three main aspects: generalization, noise robustness and imbalanced data classification. Experimental results can provide references for classifiers’ choice and use. 【Key words】Random Forests; Support Vector Machine; lassification 0 引言 分类是数据挖掘领域研究的主要问题之一，分类器作为解决问题的工具一直是研究的热点。常用的分类器有决策树、逻辑回归、贝叶斯、神经网络等，这些分类器都有各自的性能特点。本文研究的随机森林[1]（Random Forests，RFBreiman提出的一种基于CART决策树的组合分类器。其优越的性能使其在国外的生物、医学、经济、管理等众多领域到了广泛的应用，而国内对其的研究和应用还比较少[2]。为了使国内学者对该方法有一个更深入的了解，本文将其与分类性能优越的支持向量机[3]（Support Vector Machine，SVMUCI机器学习数据库[4]的20个数据集作为实验数据，通过大量的数据实验，从泛化能力、噪声鲁棒性和不平衡分类三个主要方面进行比较，为研究者选择和使用分类器提供有价值的参考。 1 分类器介绍 1.1 随机森林 随机森林作为一种组合分类器，其算法由以下三步实现： 1. 采用bootstrap抽样技术从原始数据集中抽取ntree个训练集，每个训练集的大小约为原始数据集的三分之二。 2. 为每一个bootstrap训练集分别建立分类回归树（Classification and Regression Tree，CARTntree棵决策树构成一片“森林”，这些决策树均不进行剪枝（unpruned）。在每棵树生长过程中，并不是选择全部M个属性中的最优属性作为内部节点进行分支（split），而是从随机选择的mtry≤M个属性中选择最优属性进行分支。 3. 集合ntree棵决策树的预测结果，采用投票（voting）的方式决定新样本的类别。 随机森林在训练过程中的每次bootstrap抽样，将有约三分之一的数据未被抽中，这部分数据被称为袋外（out-of-bag）数据。随机森林利用这部分数据进行内部的误差估计，产生OOB误差（out-of-bag error）。Breiman通过实验证明，OOB误差是无偏估计，近似于交叉验证得到的误差。 随机森林分类器利用基于Breiman随机森林理论的R语言软件包randomForest 4.6-6[5]来实现。需要设置三个主要的参数：森林中决策树的数量（ntree）、内部节点随机选择属性的个数（mtry）及终节点的最小样本数（nodesize）。 1.2 支持向量机 支持向量机是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，已在众多领域得到了广泛的应用。支持向量机最初是为了求解二分