东北大学_支持向机.pptVIP

支持向量机 Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。其原理也从线性可分说起，然后扩展到线性不可分的情况。甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机(Support Vector Machine，简称SVM)。 支持向量机方法是在近年来提出的一种新方法。 支持向量机在设计时，需要用到条件极值问题的求解，因此需用拉格朗日乘子理论，但对多数人来说，以前学到的或常用的是约束条件为等式表示的方式，但在此要用到以不等式作为必须满足的条件，此时只要了解拉格朗日理论的有关结论就行。 线性可分条件下的支持向量机最优分界面 SVM的思想：由于两类别训练样本线性可分，因此在两个类别的样本集之间存在一个间隔。对一个二维空间的问题用下图表示。 线性可分条件下的支持向量机最优分界面 其中H是将两类分开的分界面，而H1与H2与H平行，H是其平分面，H1上的样本是第一类样本到H最近距离的点，H2的点则是第二类样本距H的最近点。 线性可分条件下的支持向量机最优分界面 由于这两种样本点很特殊，处在间隔的边缘上，因此再附加一个圈表示。这些点称为支持向量，它们决定了这个间隔。 线性可分条件下的支持向量机最优分界面 从图上可以看出能把两类分开的分界面并不止H这一个，如果略改变H的方向，则根据H1、H2与H平行这一条件，H1、 H2的方向也随之改变，这样一来，H1与H2之间的间隔(两条平行线的垂直距离)会发生改变。 显然使H1与H2之间间隔最大的分界面H是最合理的选择，因此最大间隔准则就是支持向量机的最佳准则。 Best Linear Separator? Find Closest Points in Convex Plane Bisect Closest Points Best Linear Separator:Supporting Plane Method 线性可分条件下的支持向量机最优分界面 为了将这个准则具体化，需要用数学式子表达。为了方便，将训练样本集表示成{ xi,yi }，i=1，…，N，其中xi为d维向量也就是特征向量，而yi∈{-1，+1}，即用yi是+1或-1表示其类别。对于分界面H表示成 线性可分条件下的支持向量机最优分界面 显然H1平面到坐标原点的距离为 线性可分条件下的支持向量机最优分界面 因此欲达到Vapnik提出的使间隔最大的准则，则应使||W||最小。 线性可分条件下的支持向量机最优分界面 因此欲达到Vapnik提出的使间隔最大的准则，则应使||w||最小。 线性可分条件下的支持向量机最优分界面 使目标函数为最小，减去用拉格朗日乘子(乘子值必须不小于0)与约束条件函数的乘积，在讨论的问题中可写成 线性可分条件下的支持向量机最优分界面 线性可分条件下的支持向量机最优分界面 Maximize 线性可分条件下的支持向量机最优分界面 Where D is an N×N matrix such that Dij=yiyjxi·xj 线性可分条件下的支持向量机最优分界面 b can be determined from α*, which is a solution of the dual problem, and from the Kuhn-Tucker conditions 线性可分条件下的支持向量机最优分界面 Note that the only αi* that can be nonzero in (5) those for which the constraints (2) are satisfied with the equality sign. 线性可分条件下的支持向量机最优分界面 Most of the constraints in (2) are satisfied with inequality signs i.e., most α* solved from the dual are null. 线性可分条件下的支持向量机最优分界面 Where for all i=1,……,N, either 线性可分条件下的支持向量机最优分界面 只有满足约束条件(2)中等于的点,其拉格朗日乘子才可能不为零；而对满足约束条件(2)大于的样本数据来说，其拉格朗日乘子必须为零，显然只有部分(经常是少量)的样本数据的αi不为零，而线性分界面的权向量w则是这些αi不为零的样本数据的线性组合，αi不为零的样本数据也因而被称为支持向量。 线性可分条件下的支持向量机最优分界面 至此，再回顾一下线性可分条件下的支持向量机方法。 首先支持向量机的方法是明确提出一个间隔概念，并把使间隔最宽作为确定线性分界面的最佳原则。既然是间隔又有线性可分作条件，只需找到处在间隔边缘上的点，以便确