机器学习SVM.pptVIP

线性SVM 最优分类面求解问题表示成约束优化问题 最小化目标函数 约束条件 内 容 SVM概述 结构风险最小化 线性SVM SVM求解 处理线性不可分问题 SVM训练算法 线性SVM求解 定义Lagrange函数 最优分类面问题表示成约束优化问题 最小化目标函数 约束条件 线性SVM求解 Lagrange函数优化问题的回顾 1629年，Lagrange最初是为了解决等式约束的最优化解 1951年，Kuhn和Tucker进一步把这个方法扩展到具有不等式约束的情况下，而他们理论实际基于Karush的工作。 通过对偶理论简化约束条件即Karush-Kuhn-Tucker互补条件 解决了支持向量机的优化问题 Lagrange函数 线性SVM求解 KKT条件 线性SVM求解:例子 x1 =(0, 0)T, y1 = +1 x2 =(1, 0)T, y2 = +1 x3 =(2, 0)T, y3 = -1 x4 =(0, 2)T, y4 = -1 代入x,y值 思考：当数据量很大的时候怎么办？ 可调用Matlab中的二次规划程序，求得?1, ?2, ?3, ?4的值，进而求得w和b的值。 代入(3/2,0),(0,3/2)点可以知道 内 容 SVM概述 结构风险最小化 线性SVM SVM求解 处理线性不可分问题 SVM训练算法 处理线性不可分的情况 软间隔 Kernel SVM 线性SVM求解:软间隔 最优化问题 将上述问题表示成拉格朗日乘子式 Kuhn-Tucker条件 线性SVM:软间隔 得到 只要确定?，便可解出w与b 线性SVM:软间隔 将上述条件代入L中 新的优化问题 (Quadratic Programing) 线性SVM:软间隔 直观的想法: 原始数据可以映射到一个高维空间，这些原始数据在低维空间基于线性分类面可能是不可分的，或者分得不好，而在高维空间却可以获得好的分类性能: Φ: x → φ(x) Kernel SVMs 什么样的函数可以做核函数？ 如果 K(xi,xj) 总可以写成： K(xi,xj)= φ(xi) Tφ(xj) 的形式，则K可以做核函数. Mercer’s 定律: 每一个半正定的对称函数都可以是一个核函数 半正定的对称函数对应半正定的矩阵: K(x1,x1) K(x1,x2) K(x1,x3) … K(x1,xN) K(x2,x1) K(x2,x2) K(x2,x3) K(x2,xN) … … … … … K(xN,x1) K(xN,x2) K(xN,x3) … K(xN,xN) K= 线性分类器的运算是内积运算 K(xi,xj)=xiTxj 如果 Φ: x → φ(x), 则内积变为: K(xi,xj)= φ(xi) Tφ(xj) “核函数” 就变为了高维空间的内积函数. 例如: 2-维向量 x=[x1 x2]; 如果 K(xi,xj)=(1 + xiTxj)2, 且 K(xi,xj)= φ(xi) Tφ(xj): K(xi,xj)=(1 + xiTxj)2, = 1+ xi12xj12 + 2 xi1xj1 xi2xj2+ xi22xj22 + 2xi1xj1 + 2xi2xj2 = [1 xi12 √2 xi1xi2 xi22 √2xi1 √2xi2] [1 xj12 √2 xj1xj2 xj22 √2xj1 √2xj2] T = φ(xi) Tφ(xj), 其中 φ(x) = [1 x12 √2 x1x2 x22 √2x1 √2x2] 核函数举例： 核函数举例： 线性: K(xi,xj)= xi Txj 多项式函数 p: K(xi,xj)= (1+ xi Txj)p RBF核函数: 目标函数形式: 求解获得系数和支撑向量以后，分类器构造: 线性SVM: Kernal SVM: Kernel SVMs 内 容 SVM概述 结构风险最小化 线性SVM SVM求解 处理线性不可分问题 SVM训练算法 算法流程：每次选取两个α进行更新 开始 选择两个α 更新E 计算误差 误差阈值 结束 更新α SVM训练算法-SMO 最后得到迭代公式： 通过逐步增加支持向量，分类函数逐渐变得复杂，所以VC维逐渐的增加，经验风险减小，可以看到这就是结构风险最小化的求解过程 * 内 容 SVM概述 结构风险最小化 线性SVM SVM求解 处理线性不可分问题 SVM训练算法 概述：支持向量机发展历史 196