机器学习课件：线性支持向量机分类器.pptxVIP

线性支持向量机分类器

线性支持向量机分类器

线性可分情况

•设线性可分的训练样本xi,yi,xi∈Rn,yi∈−1,1,i=1,⋯,l分类超平面：w•x+b=0

两类样本：

w•x+b≥1对于yi=1

w•x+b≤−1对于yi=−1

H1=w•x+b=1,H2=w•x+b=−1

|1−b|‖w‖

|−1−b|‖w‖

2‖w‖

分类间隔最大就是使‖w‖最小

构造拉格朗日函数求解

•超平面H1到原点的距离：超平面H2到原点的距离：

•分类间隔|H1H2|=

约束的二次规划问题：

min‖w‖2

S.t.yiw⋅xi+b−1≥0,i=1,⋯,l

H1、H2上的训练样本点称作支持向量(supportvector，SV)

线性支持向量机分类器

线性支持向量机分类器

•构造Lagrange函数：L(w,b,议)=-议i[yi(w.xi+b)-1]利用Lagrange优化方法，将其转化为对偶问题，即最大化

W(议)=议i-议i议jyiyjxi.xj=^.I-^.D.^

最优分类函数：

f(x)=sgn[(w.x)+b]=sgn议i*yi(xi.x)+b*

其中^=恳议1,议2,…,议l}，D是l〉l阶对称矩阵，Dij=yiyjxi.xj

议i为原问题中，与每个约束条件式对应的Lagrange乘子

。

〈|(议,i议 议=1,议2,…,议l}.

i

i

i

恳议

=1

满足约束：

线性支持向量机分类器

线性不可分情况

•引入非负松弛变量新=新1,新2,⋯,新l

•约束方程：yiw•x+b≥1−新i,i=1,2,⋯,l

约束的二次规划问题：

l

min‖w‖2+C新i

i=1

s.t.yiw⋅xi+b≥1−新i,i=1,⋯,l

构造拉格朗日函数求解

线性支持向量机分类器

•利用Lagrange优化方法，将转化为对偶问题，即最大化W(议)=议i_议i议jyiyj(xi.xj)=A.I_A.D.A

满足约束：

〈议

其中C为大于零的平衡常数

议

0

KKT(Karush-KuhnTucker)条件：

〈(w1;

i

i

i

i

i

i

.xi

.x

.x

.xi

.xi

.xi

i

i

.

(w

yi

(w

y

0，

yi

毛1

则

毛1

则

C,

则

议i

0

议i

若

若

若

。

TheEnd