基于支持向量机的分类法-全文可读.pptx

基于支持向量机的分类法 主 讲： 周润景 教授 单 位： 电子信息工程学院 ➢ 支持向量机的简介 ➢ 支持向量机的基本思想 ➢ 支持向量机的几个主要优点 ➢ 多类分类问题 ➢ MATLAB实现方法 ➢ 结论 目 录 ➢ 从观测数据中学习归纳出系统运动规律 ， 并利用这些规律对未来数 据或无法观测到的数据进行预测一直是智能系统研究的重点 。传统 学习方法中采用的经验风险最小化（ERM） 虽然误差最小化 ， 但不 能最小化学习过程的泛化误差 。ERM不成功的例子就是神经网络中 的过学习问题。 ➢ 为此由Vapnik领导的ATTBell实验室研究小组在1963年提出的一 种新的非常有潜力的分类技术 ， 支持向量机(Support Vector Machine,SVM ）是一种基于统计学习理论的模式识别方法 ， 主要 应用于模式识别领域 。支持向量机的基本思想是在样本空间或特征 空间构造出最有超平面 ， 使得超平面与不同类样本集之间的距离最 大 ， 从而达到最大的泛化能力。 支持向量机的简介 ■ SVM是从线性可分情况下的最优 分类面发展而来的 ， 基本思想可 用下图的两类线性可分情况说明。 实心点和空心点代表两类样本， 实线P0 、P1为分类线 。两个虚线 分别为过各类中离分类线最近的 样本且平行于分类线的直线 ， 它 们之间的距离叫做分类间隔。 支持向量机的基本思想 ■此时分类间隔为 ， 使间隔最大等价于使 最小 ， 则可以通过求 的极小值获得分类间隔最大的最优超平面。 ■这里的约束条件为： y(wx ,+b)-1≥ 0 i= 1…n ■所谓最优分类线就是要求分类线不但能将两类正确分开（训练错误率 为零） ， 而且使分类间隔最大。 ■ 分类线方程为 支持向量机的基本思想 支持向量机的基本思想 为每个样本的拉氏乘子 ， 由L分别对b和 w 导数为0 ， 可以 该约束优化问题可以用Lagrange方法求解 ， 令 其中 导出： □ □因此 ， 解向量有一个由训练样本集的一个子集样本向量构成的展开式 , 该子集样本的拉氏乘子均不为0 ， 即支持向量 。拉氏乘子为0的样本 向量的贡献为0 ， 对选择分类超平面是无意义的 。于是 ， 就从训练集中 得到了描述最优分类超平面的决策函数即支持向量机 ， 它的分类功能 由支持向量决定。 这样决策函数可以表示为： 支持向量机的基本思想 （1） 它是专门针对有限样本情况的 ， 其目标是得到现有信息下的最优 解而不仅仅是样本数趋于无穷大时的最优值； （2） 算法最终将转化成为一个二次型寻优问题 ， 从理论上说 ， 得到的 将是全局最优点 ， 解决了在神经网络方法中无法避免的局部极值问题； （3） 算法将实际问题通过非线性变换转换到高维的特征空间(Feature Space) ， 在高维空间中构造线性判别函数来实现原空间中的非线性判别 函数 ， 特殊性质能保证机器有较好的推广能力 ， 同时它巧妙地解决了维 数问题 ， 其算法复杂度与样本维数无关。 支持向量机的优点 基本的支持向量机仅能解决两类分类问题 ， 一些学者从两个方向研究 用支持向量机解决实际的多类分类问题： 一个方向就是将基本的两类 支持向量机(Binary-class SVM ，BSVM)扩展为多类分类支持向量 (Multi-Class SVM ，MSVM) ， 使支持向量机本身成为解决多类分类问 题的多类分类器 ;另一方向则相反,将多类分类问题逐步转化为两类分类 问题, 即用多个两类分类支持向量机组成的多类分类器。 多类分类问题 多类分类支持向量机MSVM： 实际应用研究中多类分类问题更加常见 ， 只要将目标函数由两类改为 多类(k类)情况 ， 就可以很自然地将BSVM扩展为多类分类支持向量机 MSVM ， 以相似的方式可得到决策函数。 多类分类问题 基于BSVM的多类分类器 (1)1-a-r分类器(One-against-rest class ifiers) 这种方案是为每个类构建一个BSVM ， 如图 ， 对每个类的BSVM ， 其 训练样本集的构成是： 属该类的样本为正样本 ， 而不属于该类的其 他所有样本为都是负样本 ， 即该BSVM分类器就是将该类样本和其 他样本分开 。所以在1-a-r分类器过程中训练样本需要重新标注 ， 因 为一个样本只有在对应类别的BSVM分类器是是正样本 ， 对其他的 BSVM分类器都是负样本。 多类分类问题 (2) 1-a- 1分类器(One-against-one class ifiers) 对1-a- 1分类器 ， 解决k类分类问题就需要个BSVM ， 因为这种方案是 每两个类别训