浙江大学SVM(支持向量机)90249.ppt

支持向量机算法研究（续3） SVM增量学习算法的研究 超球面SVM算法研究 One-class SVM算法 …… SVM多值分类器算法 One-against-the-rest（一对多方法） One-against-one（一对一方法） Multi-class Objective Functions（多类SVM） Decision Directed Acyclic Graph, DDAG SVM Decision Tree 超球面SVM多值分类器 …… 总结 SVM在模式识别、回归函数估计、预测等大量应用中取得了良好的效果 SVM存在两个主要问题： 二次规划的训练速度 核函数的选择 前途是光明的，道路是曲折的。 课后编程实现题目（二选一）： 设计并实现一个简单的用于文本分类的SVM。 设计并实现一个简单的基于SVM的“新闻分离器”，主要用于对浙大BBS“缥缈水云间”中news版上的新闻进行分类。 主要参考文献： A tutorial on support vector machines for pattern recognition. Data Mining and Knowledge Discovery,1998,2(2) Vapnik V N. The Nature of Statistical Learning Theory, NY: Springer-Verlag, 1995（中译本：张学工译.《统计学习理论的本质》.清华大学出版社,2000） 【说明】：该书附带介绍了很多科学研究的基本原则，很有启发、借鉴意义。 Introduction to Support Vector Machine. Vapnik V N. 著，张学工译. 统计学习理论.人民邮电出版社. 张学工. 关于统计学习理论与支持向量机. 自动化学报, 2000年第1期. 史朝辉. SVM算法研究及在HRRP分类中的应用. 空军工程大学硕士学位论文, 2005. 主要参考文献（续）： THANKS FOR YOUR PRESENCE! “A righteous man may have many troubles, but the LORD delivers him from them all; he protects all his bones, not one of them will be broken.” from Psalms 34:19-20 NIV 推广性的界（续1） 学习机器的实际风险由两部分组成: 训练样本的经验风险 置信范围(同置信水平 有关,而且同学习机器的VC维和训练样本数有关。 在训练样本有限的情况下,学习机器的VC维越高,则置信范围就越大,导致实际风险与经验风险之间可能的差就越大。 推广性的界（续2） 在设计分类器时, 不但要使经验风险最小化,还要使VC维尽量小,从而缩小置信范围,使期望风险最小。 寻找反映学习机器的能力的更好参数，从而得到更好的界是SLT今后的重要研究方向之一。 结构风险最小化 传统机器学习方法中普遍采用的经验风险最小化原则在样本数目有限时是不合理的,因此，需要同时最小化经验风险和置信范围。 统计学习理论提出了一种新的策略,即把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。这种思想称作结构风险最小化(Structural Risk Minimization)，即SRM准则。 结构风险最小化（续1） 结构风险最小化（续2） 实现SRM原则的两种思路 在每个子集中求最小经验风险,然后选择使最小经验风险和置信范围之和最小的子集。 设计函数集的某种结构使每个子集中都能取得最小的经验风险,然后只需选择适当的子集使置信范围最小,则这个子集中使经验风险最小的函数就是最优函数。支持向量机方法实际上就是这种思路的实现。 8.6 支持向量机概述 支持向量机概述 支持向量机理论 支持向量机 核函数 支持向量机实现 8.6.1 支持向量机概述 1963年，Vapnik在解决模式识别问题时提出了支持向量方法,这种方法从训练集中选择一组特征子集,使得对特征子集的划分等价于对整个数据集的划分,这组特征子集就被称为支持向量(SV)。 1971年，Kimeldorf提出使用线性不等约束重新构造SV的核空间,解决了一部分线性不可分问题。 1990年，Grace,Boser和Vapnik等人开始对SVM进行研究。 1995年，Vapnik正式提出统计学习理论。 8.6.2 支持向量机理论 SVM从线性可分情况下的最优分类面发展而来。