ch7 支持向量机.ppt

第七章 支持向量机 概述 Cortes and Vapnik, 1995. 最大边界距离分类器 概 述 1. 线性可分情形 线性可分情形 求解原始问题 求解原始问题 求解原始问题 化为对偶问题 化为对偶问题 化为对偶问题 近似线性可分 近似线性可分 近似线性可分 近似线性可分 对于线性不可分的样本怎么办？ 非线性可分情形 关键点: 把 xi 变换到高维的特征空间 为什么要变换？ 通过加入一个新的特征xi，使得样本变成线性可分的，此时特征空间维数变高 Transform x ? ?(x) 例子 a x12+b x22=1 [w]1 z1+ [w]2z2 + [w]3 z3+ b =0 非线性分类 非线性分类 非线性分类 实现非线性分类的思想 实现非线性分类的思想 核函数的选择 核的比较 SVM寻优算法 例子 现有5个一维数据 x1=1, x2=2, x3=4, x4=5, x5=6, 其中 1, 2, 6 为 class 1，4, 5 为class 2 ? y1=1, y2=1, y3=-1, y4=-1, y5=1 选择 polynomial kernel of degree 2 K(x,y) = (xy+1)2 C = 100 求解 ai (i=1, …, 5) 例子 通过二次规划求解，得到 支持向量为 {x2=2, x4=5, x5=