3.线性可分SVM教程.pptVIP

SMO：算法的具体流程 * * SMO优化问题 SMO优化问题 SMO算法流程 SMO优化问题 如何选择待更新的两个量？ 如何更新这两个量？ 两个问题： 一个简单的例子： ,y1 = +1 ,y2 = +1 ,y3 = -1 ,y4 = -1 可调用Matlab中的二次规划程序，求得?1, ?2, ?3, ?4的值，进而求得 和b的值。 根据约束优化问题的KKT（Karush-Kuhn-Tucker）条件，优化最优解 时，应满足如下条件： 由于只有少部分观测样本 满足 ,它们对应的Lagrange乘子 ,而剩余的样本满足 。我们称解 的这种性质为“稀疏性”。 通常我们把 的观测样本称为支持向量（Support Vector）,它们位于间隔边界 或 上。最大间隔超平面 完全由支持向量决定，而与剩余的观测样本无关。 研究现状 应用研究 支持向量机研究 支持向量机算法研究 应用研究 SVM的应用主要于模式识别领域 贝尔实验室对美国邮政手写数字库进行的实验 分类器 错误率 人工表现 2.5% 决策树C4.5 16.2% 最好的两层神经网络 5.9% SVM 4.0% SVM与神经网络（NN）的对比 SVM的理论基础比NN更坚实，更像一门严谨的“科学”（三要素：问题的表示、问题的解决、证明） SVM —— 严格的数学推理 NN —— 强烈依赖于工程技巧 推广能力取决于“经验风险值”和“置信范围值”，NN不能控制两者中的任何一个。 NN设计者用高超的工程技巧弥补了数学上的缺陷——设计特殊的结构，利用启发式算法，有时能得到出人意料的好结果。 “我们必须从一开始就澄清一个观点，就是如果某事不是科学，它并不一定不好。比如说，爱情就不是科学。因此，如果我们说某事不是科学，并不是说它有什么不对，而只是说它不是科学。” —— by R. Feynman from The Feynman Lectures on Physics, Addison-Wesley 同理，与SVM相比，NN不像一门科学，更像一门工程技巧，但并不意味着它就一定不好！ 主要应用领域 手写数字识别 语音识别 人脸识别 文本分类 支持向量机研究 如何针对不同的问题选择不同的核函数仍然是一个悬而未决的问题。 标准的SVM对噪声是不具有鲁棒性的,如何选择合适的目标函数以实现鲁棒性是至关重要的。 支持向量机算法研究 支持向量机的本质是解一个二次规划问题,虽然有一些经典（如对偶方法、内点算法等）,但当训练集规模很大时,这些算法面临着维数灾难问题。为此,人们提出了许多针对大规模数据集的SVM训练算法。 支持向量机算法研究（续1） 思路1：分解子问题 块算法 SMO算法(Sequential Minimal Optimization) 思路2：序列优化 思路3：近邻SVM 支持向量机算法研究（续2） 训练SVM的绝大多数算法都是针对分类问题,只有一小部分算法考虑了回归函数的估计问题。 提高算法效率、降低复杂度。 支持向量机算法研究（续3） SVM增量学习算法的研究 超球面SVM算法研究 One-class SVM算法 …… SVM多值分类器算法 One-against-the-rest（一对多方法） One-against-one（一对一方法） Multi-class Objective Functions（多类SVM） Decision Directed Acyclic Graph, DDAG SVM Decision Tree 超球面SVM多值分类器 …… 总结 SVM在模式识别、回归函数估计、预测等大量应用中取得了良好的效果 SVM存在两个主要问题： 二次规划的训练速度 核函数的选择 前途是光明的，道路是曲折的。 课后编程实现题目（二选一）： 设计并实现一个简单的用于文本分类的SVM。 设计并实现一个简单的基于SVM的“新闻分离器”，主要用于对浙大BBS“缥缈水云间”中news版上的新闻进行分类。 主要参考文献： A tutorial on support vector machines for pattern recognition. D