机器学习方法及应用课件 第5章 支持向量机.pptxVIP

第5章

支持向量机

SupportVectorMachine

01概述

在样本空间中寻找一个超平面,将不同类别的样本分开

哪一个更好呢?

分割原则：间隔最大化！

l

l支持向量机的三种类型

线性可分支持向量机

硬间隔最大化（hardmargin）

硬间隔支持向量机

线性支持向量机

软间隔最大化（softmargin）

软间隔支持向量机

非线性支持向量机

核函数（kernelfunction）

01概述

02线性可分支持向量机与硬间隔

l基本概念

n任意超平面可以用线性方程来描述：WTX+b=0

n维空间中，X到超平面（WT，b）的距离

n支持向量：距离超平面最近的几个训练样本点

n间隔：两个异类支持向量到超平面的距离之和

02线性可分支持向量机与硬间隔

基本概念

l

02线性可分支持向量机与硬间隔

基本思想

带有约束条件的优化问题

拉格朗日乘子法

寻找参数和,使得间隔最大

l

02线性可分支持向量机与硬间隔

对偶问题

拉格朗日乘子法

o第二步：令L(w,b,a)对u和b的偏导为零可得

o第一步：引入拉格朗日乘子得到拉格朗日函数

o第三步：回代可得

l

拉格朗日乘子法

●最终模型：f(ar)