支持向量分类机原理介绍.ppt

Support Vector Classification;;提纲;History;关于SVM;提纲;a;a;a;a;分类问题的数学表示; 根据给定的训练集 其中， ，寻找 上的一个实 值函数 ，用决策函数 判断任一模式 对应的 值. 可见，分类学习机——构造决策函数的方法(算法)， 两类分类问题 多类分类问题 线性分类学习机 非线性分类学习机 ;SVM分类问题大致有三种：线性可分问题、近似线性可分问题、线性不可分问题。; 最大间隔原则;考虑图1.2.1(a)—— 上的线性可分的分类问题. 这里有许多直线 能将两类点正确分开. 如何选取 和 ？ 简单问题：设法方向 已选定，如何选取 ？ 解答： 选定 平行直线 极端直线 和 取 和 的中间线为分划直线 如何选取 ？ 对应一个 ，有极端直线 ，称 和 之间的距 离为“间隔”.显然应选使“间隔”最大的 。 ;数学语言描述： 给定适当的法方向 后，这两条极端直线 可表示为;如何计算分划间隔？ 考虑2维空间中极端直线之间的间隔情况;分划直线表达式为 “间隔” 为 极大化“间隔”的思想导致求解下列对变量 和 的最优化问题 说明：只要我们求得该问题的最优解 ，从而构造分划 超平面 ，求出决策函数 。 上述方法对一般 上的分类问题也适用. ;求解原始问题？;1. 线性可分问题;2. 近似线性可分问题;2. 近似线性可分问题;算法： (广义)线性支持向量分类机;3. 非线性分划;3. 非线性分划;3. 非线性分划;3. 非线性分划;3. 非线性分划;3. 非线性分划;实现非线性分划的思想;实现非线性分划的思想;核函数(核或正定核)定义;核函数的选择;提纲;－ Edgar Osuna(Cambridge,MA)等人在IEEE NNSP’97发表了An Improved Training Algorithm for Support Vector Machines ,提出了SVM的分解算法，即将原问题分解为若干个子问题，按照某种迭代策略，通过反复求解子问题，最终使得结果收敛于原问题的最优解。;考虑去掉Lagrange乘子等于零的训练样本不会影响原问题的解???采用一部分样本构成工作样本集进行训练，移除其中的非支持向量，并把训练结果对剩余样本进行检验，将不符合KKT条件的样本与本次结果的支持向量合并成为一个新的工作集。然后重新训练，如此重复获得最优结果。 例如：基于这种思路的 算法。;将工作样本集的大小固定在算法速度可以容忍的限度内，迭代过程选择一种合适的换入换出策略，将剩余样本中的一部分与工作样本集中的样本进行等量交换，即使支持向量的个数超过工作样本集的大小，也不改变工作样本集的规模，而只对支持向量中的一部分进行优化。 例如: 算法;K-类模式识别问题是为样本集;Thank you!