随机森林及支持向量机分类性能比较.docVIP

随机森林及支持向量机分类性能比较摘 要：随机森林是一种性能优越的分类器。为了使国内学者更深入地了解其性能，通过将其与已在国内得到广泛应用的支持向量机进行数据实验比较，客观地展示其分类性能。实验选取了20个UCI数据集，从泛化能力、噪声鲁棒性和不平衡分类三个主要方面进行，得到的结论可为研究者选择和使用分类器提供有价值的参考。 关键词：随机森林；支持向量机；分类 中图分类号：O235 文献标识码：A DoI: 10.3969/j.issn.1003-6970.2012.06.038 Comparison on Classification Performance Between Random Forests and Support Vector Machine HUaNG Yan, ZHa wei-xiong (Institute of Transportation and Economics, East China Jiaotong University, Nanchang 330013, China) 【Abstract】Random Forests is an excellent classifier. In order to make Chinese scholars fully understand its performance, this paper compared it with Support Vector Machine widely used in China by means of data experiments to objectively show its classification performance. the experiments, using 20 UCI data sets, were carried out from three main aspects: generalization, noise robustness and imbalanced data classification. Experimental results can provide references for classifiers? choice and use. 【Key words】Random Forests; Support Vector Machine; classification 0 引言 分类是数据挖掘领域研究的主要问题之一，分类器作为解决问题的工具一直是研究的热点。常用的分类器有决策树、逻辑回归、贝叶斯、神经网络等，这些分类器都有各自的性能特点。本文研究的随机森林[1]（Random Forests，RF）是由Breiman提出的一种基于CART决策树的组合分类器。其优越的性能使其在国外的生物、医学、经济、管理等众多领域到了广泛的应用，而国内对其的研究和应用还比较少[2]。为了使国内学者对该方法有一个更深入的了解，本文将其与分类性能优越的支持向量机[3]（Support Vector Machine，SVM）进行数据实验比较，客观地展示其分类性能。本文选取了UCI机器学习数据库[4]的20个数据集作为实验数据，通过大量的数据实验，从泛化能力、噪声鲁棒性和不平衡分类三个主要方面进行比较，为研究者选择和使用分类器提供有价值的参考。 1 分类器介绍 1.1 随机森林 随机森林作为一种组合分类器，其算法由以下三步实现： 1. 采用bootstrap抽样技术从原始数据集中抽取ntree个训练集，每个训练集的大小约为原始数据集的三分之二。 从表5的实验结果可以明显地看出，随机森林在不平衡分类性能上显著逊色于支持向量机。本实验是在未设置类权重的情况进行的，我国学者李建更等对加权随机森林（Weighted Random Forest，WRF）进行了实验研究，结果表明对不平衡数据进行权重设置在大多数情况下能取得优于普通随机森林的结果[12]，其在研究中还就权重的设置提出几点很有价值的规律，详见文献[12]。此外，还可以通过数据层面的处理来提高分类器的性能，常用的技术有欠抽样（undersampling）、过抽样（oversampling）及两种技术的混合。 通过数据实验，得出以下关于随机森林与支持向量机在分类性能方面的几点结论：（1）使用随机森林无需预先对数据进行预处理，而若使用支持向量机则有必要进行数据预处理；（2）在二分类问题上，二者的泛化能力无显著差异；（3）在多分类问题上，随机森林的泛化能力显著优于支持向量机；（4）二者对数据类别噪声的鲁棒性无显著差异；（5）在不平衡分类问题上，随机森林显著逊色于支持向量机