支持向量机(东北大学）.pptVIP

支持向量机 Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。其原理也从线性可分说起，然后扩展到线性不可分的情况。甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机(Support Vector Machine，简称SVM)。 支持向量机方法是在近年来提出的一种新方法。 支持向量机在设计时，需要用到条件极值问题的求解，因此需用拉格朗日乘子理论，但对多数人来说，以前学到的或常用的是约束条件为等式表示的方式，但在此要用到以不等式作为必须满足的条件，此时只要了解拉格朗日理论的有关结论就行。 线性可分条件下的支持向量机最优分界面 SVM的思想：由于两类别训练样本线性可分，因此在两个类别的样本集之间存在一个间隔。对一个二维空间的问题用下图表示。 线性可分条件下的支持向量机最优分界面 其中H是将两类分开的分界面，而H1与H2与H平行，H是其平分面，H1上的样本是第一类样本到H最近距离的点，H2的点则是第二类样本距H的最近点。 线性可分条件下的支持向量机最优分界面 由于这两种样本点很特殊，处在间隔的边缘上，因此再附加一个圈表示。这些点称为支持向量，它们决定了这个间隔。 线性可分条件下的支持向量机最优分界面 从图上可以看出能把两类分开的分界面并不止H这一个，如果略改变H的方向，则根据H1、H2与H平行这一条件，H1、 H2的方向也随之改变，这样一来，H1