人工智能 支持向量机.pptVIP

支持向量机 1、线性可分情况下的支持向量机 1)支持向量机的定义:支持向量机是一个特殊 的线性分类器g(x)=Wx+。,其分类面8(x)=0 」满足(1)分类面与两类样本间的距离相等 (2)分类面与两类样本间的距离最大 支持向量( support vector)的定义:见图  ■  2)线性鉴别函数与分类面的对应关系 线性鉴别函数与分类面不是一一对应的。每 分类面有无穷多个鉴别函数与其相对应。 (x=wx+wo g(r)=wx+w=0 g(x)=a·wx+aWb g,(x)=awx+awo=0  3)支持向量机设计的目的,本质上是寻求一个 距离最大化的等距离分类面。对于任意一个等 距离的分类面,必然有无穷多个线性鉴别函数 与其对应。在这些鉴别函数中,必然存在一个 线性鉴别函数(x)满足|9(×)=1,其中x为 “支持向量”。对于任意一个给定的等距离分 类面,仅需考虑这样的鉴别函数x)。此时分 类面距两类样本的间距为 wro+ w  该鉴别函数8(x)满足如下性质: (1)对“支持向量 g(x)=+1如果 x∈O g(x)=-1如果 r∈O (2)对“非支持向量x g(x)+1如果x∈O g(x)-1如果xe2 (3)两类样本间的间隔( Margin):|吨  4)支持向量机的数学描述:寻求一个鉴别函数 满足如下条件: (1)?小取得最大值。 (2)g(x)≥+1如果x∈a1 g(x)≤-1如果x∈O2 该问题等价于求解如下约束条件下的优化问题: minimize:Jm)2=1|……优化间题1 subject to: y, (wx,two)21,i=1  5)约束条件下优化问题的求解 (1)拉格朗日函数的定义: Low, wo ∑(+ =(2,,1≥0为拉格朗日因子  (2)优化问题1的最优解(w,w)满足如下条件: 存在拉格朗日因子λ,使得(w,w,)满足: L(,0,)=0W=∑yx L(m,wn,2)=0∑4y=0 x≥0,i=1,,N {w”x+m)-=0=1,N L(v,)=1w=∑{(wx+  (3)优化问题1的对偶问题 maximize L(w, Wo, 2) subject to W=∑4yx ∑入y=0 1≥0.,i=1…,N 该问题等价于:m∑4-∑∑44y 问题2 subject to Ay1=0 ≥0.i=1.N