第二讲支持向量机全解.ppt

第二讲 支持向量机技术 二分类问题 支持向量机的模型 支持向量机的特色 支持向量机的求解 支持向量机的变形 二分类问题 二分类问题：根据给定的训练集， 其中 要求寻找 上的决策函数 以便能用决策函数 “较好地”推断任一模式相对应的 值。 支持向量机模型 线性可分情形 线性近似可分情形 线性不可分情形 小结 线性可分情形：最大间隔原理 近似线性可分情形 线性不可分情形（1） 线性不可分情形（2） 线性不可分情形（3）—对偶模型 支持向量机的建模小结 支持向量机的特色 用间隔定量地定义了置信风险：间隔越大，置信风险越小，间隔越小，置信风险越大 用参数C实现了经验风险与置信风险的折中 最优分类超平面只由少数支持向量决定，问题具有稀疏性 模型为凸二次规划模型，没有陷入局部最优解的问题，任何局部最优解都是全局最优解 通过使用核方法，具备了强大的非线性处理能力 支持向量 支持向量机模型的求解 任何求解凸二次规划问题的算法； 大规模问题时：序贯最小最优化算法(Sequential Minimal Optimization,SMO) SMO算法 C-SVC模型当Lagrange乘子只有2个时，可以求得它的解析解。 每次选择两个训练点，求出它的解析解；训练点的选择标准是使得目标函数值下降得尽可能的多。 迭代的停止准则为所有训练点满足KKT条件。 二个Lagrange乘子变量的C-SVC KKT条件 支持向量机的变形 基于平分最近点原理的模型 L2-SVC ν-支持向量机（ν-SVC） 平分最近点原理 基于平分最近点原理的模型 特点： 与C-SVC基本上是等价的； 给出了比C-SVC更为直观的几何意义； 给出了比C-SVC更好的样本线性可分性描述； D的选取不如C方便 L2-SVC ν-SVC ν-SVC的模型 ν-SVC的性质 ν-SVC模型（1） ν-SVC模型（2） ν-SVC性质 间隔错误样本点 参数v的意义 ν-SVC与C-SVC的关系 ν-SVC与平分最近点原理的关系 间隔错误样本点： 参数v的意义 若 ，则V是间隔错误样本的个数占总样本个数比率的一个上界，同时也是支持向量的个数占总样本个数比率的一个下界，即 C-SVC与ν-SVC的关系(1) C-SVC与ν-SVC的关系(2) 的图像 ν-SVC与平分最近点原理的关系(1) ν-SVC与平分最近点原理的关系(2) V-SVC通过变量变换： 得到一个仅比例发生变化的模型，而它的对偶模型（称为μ-SVC）为： ν-SVC与平分最近点原理的关系(3) 这与 缩减的凸壳(reduced convex hull )的平分最近点原理的模型 本质上完全一样 * C代表了经验风险与置信风险的折中 模型（3）的求解，必须知道非线性映射Ф的具体形式，但实际工作上，给出Ф的具体形式是非常困难的！ 对偶模型 原问题的解与对偶问题的解之间的关系： 分类决策函数： 这里K(xi,xj)=(Ф(xi),Ф(xj))是样本xi,xj在特征空间中的内积，称为输入空间X上的核函数。 统一归结到C-SVC模型： 当C=∞, K(xi,xj)=(xi,xj)时对应线性可分情形；当0C∞, K(xi,xj)=(xi,xj)时对应近似线性可分情形。 支持向量：界内支持向量：界上支持向量： 注：问题具有稀疏性是指决策时可以不管非支持向量的样本，而仅用到少数支持向量样本。注意训练时还是用到了所有的样本。 模型（8）的对偶模型为： w给定时,ρ越大，间隔就越大，但是间隔内的支持向量也越多，即经验风险 也越大，所以当w给定时，我们也可以设置一个参数代表经验风险与置信风险的折中，或者更准确地说，这个参数可以控制间隔内的支持向量的个数 对偶模型 对偶模型 V=2的v-svc模型 的对偶模型为： 与平分最近点原理的模型完全一样