基于支持向量机的分类法.pptxVIP

基于支持向量机的分类法 会计学 1 ➢ 支持向量机的简介 ➢ 支持向量机的基本思想 支持向量机的几个主要优点 多类分类问题 ➢ MATLAB实现方法 ➢ 结论 目 录 ➢ ➢ 第1页/共23页 支持向量机的简介 ➢ 从观测数据中学习归纳出系统运动规律 ， 并利用这些规律对未来 数据或无法观测到的数据进行预测一直是智能系统研究的重点 。 传统学习方法中采用的经验风险最小化（ERM） 虽然误差最小化 , 但不能最小化学习过程的泛化误差 。ERM不成功的例子就是神 经网络中的过学习问题。 ➢ 为此由Vapnik领导的ATTBell实验室研究小组在1963年提出的 一种新的非常有潜力的分类技术 ， 支持向量机(Support Vector Machine,SVM ）是一种基于统计学习理论的模式识别方法 ， 主 要应用于模式识别领域 。支持向量机的基本思想是在样本空间或 特征空间构造出最有超平面 ， 使得超平面与不同类样本集之间的 距离最大 ， 从而达到最大的泛化能力。 第2页/共23页 用下图的两类线性可分情况说明 。实心点和空心点代表两类样本 , 实线P0 、P1为分类线 。两个虚 线分别为过各类中离分类线最近 的样本且平行于分类线的直线 ， 它们之间的距离叫做分类间隔。 第3页/共23页 ■此时分类间隔为 ， 使间隔最大等价于使 最小 ， 则可以通过 求 的极小值获得分类间隔最大的最优超平面。 ■这里的约束条件为： , ■ 分类线方程为 第4页/共23页 。 为每个样本的拉氏乘子 ， 由L分别对b和 w 导数为0 ， 可 以导出： 支持向量机的基本思想 该约束优化问题可以用Lagrange方法求解 ， 令 第5页/共23页 其中 □ 本向量的贡献为0 ， 对选择分类超平面是无意义的 。于是 ， 就从训练 集中得到了描述最优分类超平面的决策函数即支持向量机 ， 它的分类 功能由支持向量决定。 这样决策函数可以表示为： 第6页/共23页 ; （2） 算法最终将转化成为一个二次型寻优问题 ， 从理论上说 ， 得到 的将是全局最优点 ， 解决了在神经网络方法中无法避免的局部极值问题 ; （3） 算法将实际问题通过非线性变换转换到高维的特征空间 (Feature Space) ， 在高维空间中构造线性判别函数来实现原空间中的非 线性判别函数 ， 特殊性质能保证机器有较好的推广能力 ， 同时它巧妙地 解决了维数问题 ， 其算法复杂度与样本维数无关。 （1） 它是专门针对有限样本情况的 ， 其目标是得到现有信息下的最 优解而不仅仅是样本数趋于无穷大时的最优值 支持向量机的优点 第7页/共23页 究用支持向量机解决实际的多类分类问题： 一个方向就是将基本的两 类支持向量机(Binary-class SVM ，BSVM)扩展为多类分类支持向量 (Multi-Class SVM ，MSVM) ， 使支持向量机本身成为解决多类分类问 题的多类分类器 ;另一方向则相反,将多类分类问题逐步转化为两类分类 问题, 即用多个两类分类支持向量机组成的多类分类器。 基本的支持向量机仅能解决两类分类问题 ， 一些学者从两个方向研 多类分类问题 第8页/共23页 多类分类支持向量机MSVM： 实际应用研究中多类分类问题更加常见 ， 只要将目标函数由两类改为 多类(k类)情况 ， 就可以很自然地将BSVM扩展为多类分类支持向量机 MSVM ， 以相似的方式可得到决策函数。 多类分类问题 第9页/共23页 多类分类问题 基于BSVM的多类分类器 (1)1-a-r分类器(One-against-rest classifiers) 这种方案是为每个类构建一个BSVM 如图 对每个类的BSVM , , , 训练样本集的构成是： 属该类的样本为正样本 ， 而不属于该类的其他所 有样本为都是负样本 ， 即该BSVM分类器就是将该类样本和其他样本分 开 。所以在1-a-r分类器过程中训练样本需要重新标注 ， 因为一个样本 只有在对应类别的BSVM分类器是是正样本 ， 对其他的B