基于SVM的分类问题的研究.docVIP

基于SVM的分类问题的研究 　　【摘 要】支持向量机（SVM）具有适合处理小样本、非线性和高维数问题，利用核函数且泛化能力强等多方面的优点。文章简要介绍了SVM的基本原理，然后利用支持向量机（SVM）进行两类分类和多类分类实验，比较不同核函数的结果。实验证明支持向量机的分类效果比较好。 　　【关键词】支持向量机（SVM）；分类；核函数；参数选择 　　支持向量机SVM（Support Vector Machines）是Vapnike等人在上世纪九十年代初建立的一种新型的学习机器，它是在以解决小样本机器学习问题为目标的统计学习理论（SLT）的基础上发展起来的。SVM建立在SLT的VC维理论和结构风险最小化原理的基础上，根据有限的样本信息在模型的复杂度和学习能力之间寻求最佳折中，获得最好的推广能力。与传统方法相比，SVM能够有效地避免过学习、欠学习、维数灾难以及陷入局部极小值等问题，所以它成为机器学习的一个新研究热点。 　　1.支持向量机 　　1.1 支持向量机的基本思想 　　首先通过非线性变换将输入空间变换到一个高维空间，然后在这个新空间中求取最优线性分类面，而这种非线性变换是通过定义适当的内积函数实现的。根据结构风险最小化准则，在使训练样本分类误差极小化的前提下，尽量提高分类器的泛化推广能力。从实施的角度看，训练支持向量机等价于解一个线性约束的二次规划问题，使得分隔特征空间中两类模式点的两个超平面之间距离最大，而且它能保证得到的解为全局最优解，使得基于支持向量机的分类器能够适应解决实际问题，从而具有较好的泛化和推广能力，当然这也就是所谓的“核函数”、“大间隔”思想。 　　1.2 支持向量机的分类 　　线性支持向量机是从线性可分情况下的最优分类超平面发展而来，由于最优超平面的解最终是完全由支持向量决定的，所以这种方法后来被称为支持向量机（support vector machines）。线性支持向量机分为线性可分和线性不可分两种情况。 　　在实际问题中，分类问题往往是非线性问题，因此我们需要而最优分类面也应该是非线性的。支持向量机是通过引入特征变换来将原空间的非线性问题转化为新空间的线性问题，同时利用核函数来解决非线性分类问题，将特征进行非线性映射，将低维空间映射到高维空间，在高维空间找到一种线性关系，构造出最优分类超平面。核函数不仅简化了运算，而且我们不需要知道非线性映射的具体形式。因此理论上只要选取一个满足条件的核函数，就可以构造非线性的支持向量机。 　　常用的核函数有： 　　线性核函数（linear function）： 　　多项式核函数（polynomial function）： 　　径向基核函数（radial basis function）： 　　Sigmoid核函数（Sigmoid function）： 　　1.3 支持向量机的分类方法 　　支SVM最初是为两类问题设计的，当处理多类问题时，就需要构造合适的多类分类器。构造SVM多类分类器的方法主要有两种：一是直接法，直接在目标函数上修改，将多个分类面的参数求解合并到一个最优化问题中，通过求解该最优化问题“一次性”的实现多类分类（但计算复杂度高，只适合小型问题）；二是间接法，主要是通过组合多个二分类器来实现多分类器的构造。常见的方法有一对一法：个类别需要个支持向量机，当对某个未 　　知类别的样本进行分类时，最后得票最多的类别即为该未知样本的类别。一对多法，训练时依次把某个类别的样本归为一类，其他剩余的样本归为另一类，这样个类别的样本就构造出个SVM，分类时将未知样本分类为具有最大分类函数值的那一类。 　　2.实验过程 　　2.1 两类分类 　　随机产生服从正态分布的两个矩阵，利用SVM的两类分类思想进行分类。 　　例：x1=randn（2，50）+1； 　　x2=randn（2，50）+7； 　　所用命令[nsv，alpha，bias]=svc（X，Y，ker，C） 　　svcplot（X，Y，ker，alpha，bias，aspect，mag，xais，yais，input） 　　Variable Poly 　　global P1=1 P1=2 P1=2 P1=1 　　C C=100 C=1000 C=100 C=1000 　　Execution time 0.2s 0.2s 0.2s 0.2s 　　|w0|^2 6.453708 0.946768 1.125460 5.890548 　　Margin 0.787273 2.055456 1.885233 0.824047 　　Sum alpha 6.453708 0.946768 1.125460 5.890548 　　Support Vecto