[理学]ch13 支持向量机.ppt

第十三章 支持向量机 概述 Cortes and Vapnik, 1995. 最大边界距离分类器 概 述 1. 线性可分情形 线性可分情形 求解原始问题 求解原始问题 求解原始问题 化为对偶问题 化为对偶问题 化为对偶问题 近似线性可分 近似线性可分 近似线性可分 近似线性可分 对于线性不可分的样本怎么办？ 非线性可分情形 关键点: 把 xi 变换到高维的特征空间 为什么要变换？ 通过加入一个新的特征xi，使得样本变成线性可分的，此时特征空间维数变高 Transform x ? ?(x) 例子 a x12+b x22=1 [w]1 z1+ [w]2z2 + [w]3 z3+ b =0 非线性分类 非线性分类 非线性分类 实现非线性分类的思想 实现非线性分类的思想 核函数的选择 核的比较 SVM寻优算法 例子 现有5个一维数据 x1=1, x2=2, x3=4, x4=5, x5=6, 其中 1, 2, 6 为 class 1，4, 5 为class 2 ? y1=1, y2=1, y3=-1, y4=-1, y5=1 选择 polynomial kernel of degree 2 K(x,y) = (xy+1)2 C = 100 求解 ai (i=1, …, 5) 例子 通过二次规划求解，得到 支持向量为 {x2=2, x4=5, x5=6} 判别函数为 b 满足 f (2)=1, f (5) = -1, f (6)=1, 得到 b=9 结果 SVM 实现 SVMlight bsvm libsvm mySVM MATLAB svm toolbox LS-SVMlab1.5 SVM 应用 分类、回归、密度估计 手写字符识别 文本自动分类 人脸识别 时间序列预测 蛋白质识别 DNA 排列分析 SVM 实验 SVM 实验 判别函数 1 2 4 5 6 class 2 class 1 class 1 LS-SVMlab1.5软件，是一个有GNU通用公共授权保 证的可以分享与修改的自由软件。 样本选择一个来自UCI数据库的小样本数据集iris，样本规模为100，是一个两类分类问题。 核函数选用高斯核函数，需要选取最优的模型参数(正则参数和核参数)。 * 理学院 武汉理工大学 Pattern Recognition wanwanyuan@ 线性可分情形 3 近似线性可分情形 概述 1 4 线性不可分情形 2 第十三章 支持向量机 线性可分情形下的最大边界距离分类超平面 分类面与边界距离(margin)的数学表示: 分类超平面表示为： Class 1 Class 2 m 数学语言描述 求分界面即为条件约束的极值问题 构造拉格朗日函数为 法向量是样本的线性组合！ 将上式带入拉格朗日函数为 为求解原始问题，根据最优化理论，我们转化为对偶问题来求解 为原始问题中与每个约束条件对应的Lagrange乘子。这是 一个不等式约束条件下的二次函数寻优问题，存在唯一解 二次规划问题 QP 由Kuhn-Tucker（KT）条件，分类面是最优超平面的充分必要条件是： 决策函数： 用内积符号表示 几何意义：超平面法向量是支持向量的线性组合。 几何意义 a6=1.4 Class 1 Class 2 a1=0.8 a2=0 a3=0 a4=0 a5=0 a7=0 a8=0.6 a9=0 a10=0 Class 1 Class 2 线性不可分情形下，广义最大边界距离分类超平面： 称为松弛变量，它允许在一定程度上违反间隔约束 如果 ，则没有错分样本。 于是，优化问题转化为 C 称为惩罚因子，起到对错分样本惩罚的程度的作用 the larger C the smaller xi 求解仍然转化为对偶问题 软间隔线性支持向量机 ?i 有上界 非线性可分情形 如何找到正确的分类曲线和正确的超平面对此类情况分类? 设训练集 ，其中 假定可以用 平面上的二次曲线来划分： 现考虑把2维空间 映射到6维空间的变换 上式可将2维空间上二次曲线映射为6维空间上的一个超平面： 可见，只要利用变换，把 x 所在的2维空间的两类输入点映射x 所在的6维空间，然后在这个6维空间中，使用线性学习机求出分划超平面： 最后得出原空间中的二次曲线： 需要求解的最优化问题 最后得到决策函数 或 为此，引进函数 给定训练集后，决策函数仅依赖于 而不需要再考虑非线性变换 如果想用其它的非线性