第二讲 支持向量机技术.pptVIP

第二讲支持向量机技术二分类问题支持向量机的模型支持向量机的特色支持向量机的求解支持向量机的变形二分类问题二分类问题：根据给定的训练集，其中要求寻找上的决策函数以便能用决策函数“较好地”推断任一模式相对应的值。支持向量机模型线性可分情形线性近似可分情形线性不可分情形小结线性可分情形：最大间隔原理近似线性可分情形线性不可分情形（1）线性不可分情形（2）线性不可分情形（3）—对偶模型支持向量机的建模小结支持向量机的特色用间隔定量地定义了置信风险：间隔越大，置信风险越小，间隔越小，置信风险越大用参数C实现了经验风险与置信风险的折中最优分类超平面只由少数支持向量决定，问题具有稀疏性模型为凸二次规划模型，没有陷入局部最优解的问题，任何局部最优解都是全局最优解通过使用核方法，具备了强大的非线性处理能力支持向量支持向量机模型的求解任何求解凸二次规划问题的算法；大规模问题时：序贯最小最优化算法(SequentialMinimalOptimization,SMO)SMO算法C-SVC模型当Lagrange乘子只有2个时，可以求得它的解析解。每次选择两个训练点，求出它的解析解；训练点的选择标准是使得目标函数值下降得尽可能的多。迭代的停止准则为所有训练点满足KKT条件。二个Lagrange乘子变量的C-SVCKKT条件支持向量机的变形基于平分最近点原理的模型L2-SVCν-支持向量机（ν-SVC）平分最近点原理基于平分最近点原理的模型特点：与C-SVC基本上是等价的；给出了比C-SVC更为直观的几何意义；给出了比C-SVC更好的样本线性可分性描述；D的选取不如C方便L2-SVCν-SVCν-SVC的模型ν-SVC的性质ν-SVC模型（1）ν-SVC模型（2）ν-SVC性质间隔错误样本点参数v的意义ν-SVC与C-SVC的关系ν-SVC与平分最近点原理的关系间隔错误样本点：参数v的意义若，则V是间隔错误样本的个数占总样本个数比率的一个上界，同时也是支持向量的个数占总样本个数比率的一个下界，即C-SVC与ν-SVC的关系(1)C-SVC与ν-SVC的关系(2)的图像ν-SVC与平分最近点原理的关系(1)ν-SVC与平分最近点原理的关系(2)V-SVC通过变量变换：得到一个仅比例发生变化的模型，而它的对偶模型（称为μ-SVC）为：ν-SVC与平分最近点原理的关系(3)这与缩减的凸壳(reducedconvexhull)的平分最近点原理的模型本质上完全一样*C代表了经验风险与置信风险的折中模型（3）的求解，必须知道非线性映射Ф的具体形式，但实际工作上，给出Ф的具体形式是非常困难的！对偶模型原问题的解与对偶问题

的解之间的关系：分类决策函数：这里K(xi,xj)=(Ф(xi),Ф(xj))是样本xi,xj在特征空间中的内积，称为输入空间X上的核函数。统一归结到C-SVC模型：当C=∞,K(xi,xj)=(xi,xj)时对应线性可分情形；

当0C∞,K(xi,xj)=(xi,xj)时对应近似线性可分情形。支持向量：

界内支持向量：

界上支持向量：注：问题具有稀疏性是指决策时可以不管非支持向量的样本，而仅用到少数支持向量样本。注意训练时还是用到了所有的样本。模型（8）的对偶模型为：w给定时,ρ越大，间隔就越大，但是间隔内的支持向量也越多，即经验风险也越大，所以当w给定时，我们也可以设置一个参数代表经验风险与置信风险的折中，或者更准确地说，这个参数可以控制间隔内的支持向量的个数对偶模型对偶模型V=2的v-svc模型的对偶模型为：与平分最近点原理的模型完全一样