非参数判别分类方法7.pptVIP

最大间隔准则 最大间隔准则 扩展的拉格朗日乘子理论 唯一解的充分必要条件 *中国矿业大学 计算机科学与技术学院 第三章 非参数判别分类方法 3.7 支持向量机 Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。其原理也从线性可分说起，然后扩展到线性不可分的情况。甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机(Support Vector Machine,简称SVM)。 在学习这种方法时，首先要弄清楚这种方法考虑问题的特点，这就要从线性可分的最简单情况讨论起，在没有弄懂其原理之前，不要急于学习线性不可分等较复杂的情况。 支持向量机在设计时，需要用到条件极值问题的求解，因此需用拉格朗日乘子理论，要用到以不等式作为必须满足的条件，此时我们只要了解拉格朗日理论的有关结论就行。 3.7.1 线性可分条件下的 支持向量机最优分界面 SVM的思路 隔离带 支持向量 最大间隔准则 最优分类面示意图 训练样本集表示成{ xi,yi },i=1,…,N,其中xi为d维向量，也即特征向量，而yi∈{-1，+1}，即用yi是+1或-1表示其类别。 并且令 对在H1与H2平面上的点，上两式取等号。上两式也可合并成 对于分界面H表示成： H1平面到坐标原点的距离为： H1到H2的间隔为： H2平面到坐标原点的距离为： 因此欲达到