支持向量机原理.docVIP

第3章 支持向量机基础 By Dean 支持向量机（Support Vector Machies）是由Vapnik等人于1995年提出来的。之后随着统计理论的发展，支持向量机也逐渐受到了各领域研究者的关注，在很短的时间就得到很广泛的应用。支持向量机是建立在统计学习理论的VC维理论和结构风险最小化原理基础上的，利用有限的样本所提供的信息对模型的复杂性和学习能力两者进行了寻求最佳的折衷，以获得最好的泛化能力。SVM的基本思想是把训练数据非线性的映射到一个更高维的特征空间（Hilbert空间）中，在这个高维的特征空间中寻找到一个超平面使得正例和反例两者间的隔离边缘被最大化。SVM的出现有效的解决了传统的神经网络结果选择问题、局部极小值、过拟合等问题。并且在小样本、非线性、数据高维等机器学习问题中表现出很多令人注目的性质，被广泛地应用在模式识别，数据挖掘等领域(张学工 2000；崔伟东2001)。支持向量机可以用于分类和回归问题，本章着重介绍分类相关的知识。 3.1 SVM的基本思想 3.1.1最优分类面 SVM是由线性可分情况的最优分类面发展而来的，用于两类问题的分类。下面用一个二维两类问题来说明SVM基本思想(白鹏 等，2008)。 图3.1 最优超平面示意图 C1和C2代表两类数据样本，各样本在二维中显示如图3.1， 图中的直线P0,P1就是分类函数。如果一个线性函数就完全可以把两类所有样本分开，那么就称这些数据是线性可分的；否则称非线性可分。假设两类线性可分的训练数据样本x1,y1,x2,y2,…xN,y w* 线性判别函数的值一般是连续的实数，而分类问题需要输出的是离散值。例如利用数值-1表示类别C1，而用数值+1表示类别C2.所有的样本都只能用数值-1和+1表示。这时我们可以通过设置一个阀值，通过判断判别函数的值是大于或者小于这个阀值来判断属于某一类。若我们取这个阀值为0，即当f(x)≤0时，判别样本为类别C1(即-1)；当f(x)≥0时，判别样本为类别C2(即+1). 现在将判别函数进行归一化，使两类所有样本都满足f(x)≥1，这时离分类面近的样本都有f(x)=1 yiw*x+b-1≥0, i=1, 这时分类间隔为2w. 寻求最优的分类面即使得分类间隔最大化。可以发现间隔最大等价于1 因此最优化分类面问题可以表示成如下的约束优化问题，如下： Min Φw 约束条件为： yiw*x+b-1≥0, i=1, 定义如下Lagrange函数: Lw,b,α 式中，αi≥0为Lagrange乘子。为了求得函数式(3-5)的最小值，我们对 ?L?w 由式(3-6)和(3-2)可将上述的最优化分类面的求解问题转化为一个凸二次规划寻优的对偶问题，如下： Max i=1N 约束条件为： αi 这个二次函数寻优的问题存在唯一解，若αi w* 其中αi*不为0对应的即为支持向量(Support Vector). 并且最优分类面的权系数向量是支持向量的线性组合。分类阀值 b* 式中xr,xs分别是两类中任意支持向量， fx 此时SVM最一般的表达式已经被求得。 3.1.2广义的最优分类面 但当有少数样本使得原来线性可分的问题变成不可分问题，从而影响了分类器的性能。有时这少数的样本也是噪声，或是奇异值点，是我们在人工对数据分类错分的，为了忽略这些点对分类器的影响，和在经验风险和泛化性能之间求得平衡，松弛因子ξ被引入。它容许错分样本的存在，这时分类面满足： yi 当0≤ξi?1时，样本xi可以正确分类；当 Φw,ξ 式中C是惩罚因子(一个正常数). 此时，式目标函数凸二次规划寻优的对偶问题约束条件(3-8)可被变换为如为： 0≤αi 3.2核函数 3.2.1核函数变换基本思想 对于非线性分类问题，在原始空间中最优化分类面也许不能得到令人满意的分类结果。针对这种情况，一个解决的思想是把原始空间中的非线性样本数据投影到某个更高维的空间中，在高维的空间中寻找一个最优超平面能线性地将样本数据分开，但是这种变化可能非常复杂。支持向量机利用核函数巧妙地解决了这个问题。核函数变换的基本思想是将一个n维空间中矢量x映射到更高维的特征空间中去，然后在高维空间中进行线性地分类。核函数变换的基本原理示意图如图3.2所示。由（3-7）、（3-11）可看出，都只涉及训练样本之间的点积运算xi,xj。假设存在一个非线性映射Φ将 Φ 在特征空间H中构造最优分类面时，计算的过程中仅使用了空间中的点积Φxi,Φxj，而没有用到单独的Φxi。如果存在一个“核函数”K，且Kxi, 图3.2 核函数变换示意图 3.2常见核函数 核函数作为支持向量机理论的重要的组成部分引起了很多研究者的兴趣。常用的满足Mercer条件的核函数有线性函数，多项式函数，径向基函数，Sigmoid函数