R语言中SVM实现程序比较.docVIP

R语言中SVM实现程序比较 　　摘要：作为目前最流行、最有效的分类和回归方法，支持向量机（英语：Support Vector Machine，常简称为SVM）几乎存在于任何流行的编程语言中。目前在R语言中，有4个软件包可以实现SVM。文本的目的就是介绍和比较这4个软件包。 　　关键词：支持向量机;R语言 　　引言 　　支持向量机理论是基于统计学习理论的简单想法。它的简单性体现在：它作用于输入空间相关的高维非线性特征空间中的数据，对其应用一个简单的线性方法;与此同时，即便我们认为支持向量机是高维空间中的一个线性算法，但事实上，它不涉及任何在高维空间中的运算，这种在许多机器学习问题（分类，回归，和异常检测）中充满艺术性的简单实现形式有助于它自身的推广。本文提醒如下：首先，我们简单介绍支持向量机;紧接着介绍R语言和其它编程语言中，可用的支持向量机实现软件的概述;然后介绍所用的数据集;最后本文提供了R语言中4个软件包运行支持向量机程序耗费时间的测试结果并总结分析4个包的区别。 　　支持向量机简介 　　支持向量机（SVM）是一种线性和非线性数据的分类方法，它使用非线性映射将原始数据映射到高维空间中，在该空间内搜索最佳分离超平面。在线性可分的情况下，存在这样的超平面把空间中的类分开，并且该超平面与类的距离最大，该超平面即最大边缘超平面，它等价于求解约束的凸二次最优化问题（在此不详述，详见参考文献），此时是在原输入空间（n维）内寻找最大边缘超平面;在线性不可分的情况下，可以允许个别样本分类错误，但需要借助非线性映射把原输入数据变换到高维空间，在该空间搜索最大边缘超平面（此时是线性的，可用二次最优化求解），将该超平面对应到原输入空间的非线性超平面。然而这个过程中的点积计算量极大，幸而二次最优化求解中含有训练元组的点积等价于核函数作用于原输入数据，这些核函数在原输入空间上产生非线性分类器，利用核函数不仅可以省略变换后数据元组上的点积计算，也避免了这种映射，此时仍在原输入空间计算，因此与非线性映射后的维度相比降低了不少。 　　软边缘（Soft Margin）：即线性不可分情况下，允许个别样本跑到其它类别之中。但要使用参数来权衡两端，一个是要保持最大边缘的分离，另一个要使这种破例不能太离谱。这种参数就是对错误分类的惩罚程度C。 　　分离超平面（separating hyperplane）：即将类进行分离的超平面，这样的超平面很多，而从超平面到其边缘的两侧距离最短且相等的超平面即为最大边缘超平面（Maximal Margin Hyperplane，MMH），它具有更高的泛化准确率，此时MMH到类的最近的训练元组即为支持向量（support vector）。 　　支持向量是最难分类（临界）的训练元组，给出了最多的分类信息，它定义了间隔及最大边缘超平面。因此，学习后的分类器的复杂度由支持向量数而不是数据维度刻画，SVM也不太容易过分拟合。过拟合的原因与不稳定性密切相关，改动一个或两个训练元组会引起大范围的决策边界的变化，但决策最大边缘超平面则相对比较稳定，只有当被增加或去除的训练元组是支持向量时，边缘才会变动。过度拟合的起因是边缘过分拟合。而支持向量通常只是训练元组中的极小部分，几乎不会发生过分拟合。 　　即使数据维度很高，具有少量支持向量的SVM可以具有很好的泛化性能。利用支持向量数可计算SVM分类器的期望误差率的上界，同样独立于数据维度。 　　支持向量机回归（SVR）：是由SVM发展出来的回归方法，同样也有线性可分与不可分情况。与SVM的区别在于，目标是使预测误差最小化同时函数平面度最大化。这种权衡是通过设置参数C来控制。参数ε是在回归函数周围定义的一个管道，管道内的误差将被忽略。如果所有的训练元组都在宽度为2ε的管道内，算法输出一个位于最平的管道中央的函数，这个管道包含所有训练元组，这种情况下总误差为0。因此，ε控制了函数与训练元组的拟合程度。支持向量即在管道外或管道边缘的训练元组。 　　软件介绍 　　支持向量机目前在广泛的领域得到应用，从生物信息学到天体物理学。现在大部分支持向量机软件使用C或C++编写。例如著名的libsvm，提供了一个强大快速的支持向量机实现方法，在许多分类和回归问题的解决上产生了具有艺术性的结果。SVMlight，SVMTorch，Royal Hol-loway Support Vector Machines，mySVM，and M-SVM等许多软件包提供了MATLAB的接口，也有一些MATLAB的本地的SVM工具包，例如支持向量机和核函数方法MATLAB工具包（SVM and Kernel Methods Matlab Toolbox）或 the MATLAB Support Vector