最新支持向量机.docVIP

支持向量机(support vector machine, SVM)是数据挖掘中由Vapnil等于1995年提出的一项新技术，它是借助最优化方法解决机器学习问题的新工具。SVM以结构风险最小化为原则，它的本质是求解凸二次规划问题，在解决小样本、非线性和高维模式分类问题中有较大优势。SVM有泛化能力强的特点，利用SVM方法还可避免其他方法可能造成的维数灾难，所以一经提出，便引起了广泛关注。 支持向量机是用于分类和回归的有监督的学习方法，传统的分类学习方法强调的是降维，而支持向量机的基本原理是升维。SVM通过非线性映射将低维特征空间中不可分的数据变换到高维线性可分的特征空间中，从高维的线性空间中获得一种最优的线性分类面。非线性空间转换为高维线性空间主要是通过合适的内积函数(核函数)来实现的。常用的核函数包括:多项式核函数，径向内积核函数，Sigmoid核函数等。 2核函数 SVM通过核函数将低维不可分的空间特征映射到高维线性可分的特征空间中，然后再进行线性分类。因此，核函数的选择往往是决定SVM非线性分类性能的关键。SVM是由训练样本集和核函数完全描述的，采用不同的核函数k(xi,xj)可以构造输入空间中不同类型的非线性决策面，也可导致训练支持向量机的算法不同。在实际问题中，通常是直接给出核函数。目前研究最多、最常用的核函数有: (1)线性核函数 k(xi,x)=(xi,x) (2)多项式核函数 k(xi,x)=((xi,x)+1)q q是参数 (3)Sigmoid核函数 k(xi,x)=ranh(v(xi,x)+c) (4)径向基核函数 K(x,xi)=exp{-(｜x-xi｜2)/ δ2} 二次规划求解中。由于核函数的重要性，如何去构造、选择核函数及参数成为SVM分类器训练的重中之重。核函数一旦被确定，那么对于SVM分类器而言就只有一个参数可以调整，那就是惩罚函数C。确定参数C一般有三种方法。(1)通过求解一个无约束问题来寻求其最优值;(2)采用类似于K折交叉确认的方式，适当选定所有参数各自的一个选值区间，分别在各自区间内离散地配对取值，然后在测试集上比较相应的K折交叉确认误差，达到最小误差时对应的参数值即为最优的参数选择，又称网格筛选法;(3)用遗传算法来求最优参数值。这些方法中第二种方法比较常用。 3分类器评价 分类器的评价是分类器设计的最后阶段，是数据挖掘中最重要的步骤之一。它能决定是否采用某种学习方法，还可以用于指导分类器的生成。 某一分类方法在训练集上表现出很好的分类能力，但这不代表这一方法在新的数据集合中任然有如此好的表现，所以在分类器评价时需要一种能够预测该分类方法在实践中的表现好坏非评价手段。 在做分类器评价时，我们需要一组没有参与分类器建立的数据集作为测试集合(test set)。如果训练数据很充足，可以取一个较大的样本集合来做训练，取另一个不同于训练集合的大样本数据作为测试集合;但当数据样本不够大的时候，如何利用有限的数据，这就比较的难了。 对于有限的样本集合构建训练集合测试集的主要方法有:交叉验证，受试者工作曲线。交叉验证是统计分析中评估分类模型应用水平的一个独立验证数据集预测效果的技术。应用交叉验证的方法可以估计分类器在实践中的预测分类的精确度。一般交叉验证是将原有的数据集合分成两部分数据子集来评价和比较不同分类方法的分类效能。这两部分数据一部分是用于训练器学习的训练集合，另一部分则作为验证的验证集合。常用的交叉验证方法有:保持验证、K折交叉验证、留一法交叉验证。受试者工作特征曲线(ROC )是显示分类模型中敏感性和特异性之间折中的一个可视化工具。通过对ROC曲线的分析可以得到最优分类器。 正确率=(TP+TN)/(TP+FN+FP+TN)x 100% 敏感度(TPR)=TP/(TP+FP)x 100% 特异度=TN/(FN+TN)x 100%=1-FPR 在绘制ROC曲线时，以FPR为横轴，以TPR为纵轴，以曲线下的面积AUC 来衡量分类效能的好坏，当AUC在0.5 ~ 0.7时有较低准确性，AUC在0.7~0.9 时有一定准确性，AUC在0.9以上时有较高准确性。AUC=0.5时，说明分类方法 完全不起作用，无使用价值。 4实现SVM的软件 目前实现支持向量机的软件和程序有很多种，有用Matlab编写的，Java语言编写的，c/c++编写的等各种版本，实现的功能都大同小异。本文中所有的SVM训效的SVM模式识别分类和回归的软件包。LIBSVM软件包包括:JAVA, MATLAB,PYTHON, WINDOWS等多个语言及运行环境的应用版本。该软件包对SVM所涉及的参数调节相对简单，提供了很多默认参数