支持向量机SVM 简介.ppt

Support Vector Machines 线性分类器 线性分类器 线性分类器 线性分类器 线性分类器 线性分类器 最大间隔 最大间隔 Why… 最大间隔? 具体化分类超平面及其间隔 如何在数学上表示? …在m位空间中? 具体化分类超平面及其间隔 Plus-plane = { x : w . x + b = +1 } Minus-plane = { x : w . x + b = -1 } 计算间隔 计算间隔 注: 向量 w 与 Plus Plane 垂直. 为什么? 计算间隔 Plus-plane = { x : w . x + b = +1 } Minus-plane = { x : w . x + b = -1 } 向量 w 与 Plus Plane 垂直 设 x- 是 minus plane上任意一点 设 x+是plus-plane上距离 x-最近的点 Plus-plane = { x : w . x + b = +1 } Minus-plane = { x : w . x + b = -1 } 向量 w 与 Plus Plane 垂直 设 x- 是 minus plane上任意一点 设 x+是plus-plane上距离 x-最近的点 注: 对于某实数l， x+ = x- + l w. 为什么? Plus-plane = { x : w . x + b = +1 } Minus-plane = { x : w . x + b = -1 } 向量 w 与 Plus Plane 垂直 设 x- 是 minus plane上任意一点 设 x+是plus-plane上距离 x-最近的点 注: 对于某实数l， x+ = x- + l w. 为什么? 计算间隔 现在我们知道: w . x+ + b = +1 w . x- + b = -1 x+ = x- + l w |x+ - x- | = M 于是很容易由w 和b 得到 M 现在我们知道: w . x+ + b = +1 w . x- + b = -1 x+ = x- + l w |x+ - x- | = M 于是很容易由w 和b 得到 M 现在我们知道: w . x+ + b = +1 w . x- + b = -1 x+ = x- + l w |x+ - x- | = M 学习最大间隔分类器 我们现在需要找到一种算法，来求出w 与 b，并且 能匹配上所有的样本点. 怎么做? 梯度下降? 退火算法? 矩阵求逆? 牛顿法? 利用二次优化求解 Minimize subject to What You Should Know 线性 SVMs 最大间隔分类器 QP 的作用 (但是, 这里, 你不必知道如何求解它) 最大间隔问题可以转化为一个二次优化(QP)问题 f x y +1 -1 f(x,w,b) = sign(w. x - b) How would you classify this data? f x y +1 -1 f(x,w,b) = sign(w. x - b) How would you classify this data? f x y +1 -1 f(x,w,b) = sign(w. x - b) How would you classify this data? f x y +1 -1 f(x,w,b) = sign(w. x - b) How would you classify this data? f x y +1 -1 f(x,w,b) = sign(w. x - b) Any of these would be fine.. ..but which is best? f x y +1 -1 f(x,w,b) = sign(w. x - b) 线性分类器的间隔（ margin）：到超平面最近的样本与此超平面之间的距离。 f x y +1 -1 f(x,w,b) = sign(w. x - b) 具有最大间隔的线性分类器叫做最大间隔线性分类器。 其就是一种最简单的支持向量机(SVM) (称为线性支持向量机，即LSVM) 线性支持向量机 f x y +1 -1 f(x,w,b) = sign(w. x - b) 支持向量(Support Vectors) :是那些距离超平面最近的点。 具有最大间隔的线性分类器叫做最大间隔线性分类器。 其就是一种最简单的支持向量机(SVM) (称为线性支持向量机，即LSVM) 线性支持向