支持向量机.材料.ppt

引 子 * Support Vector Machine 支持向量机 * 相关参考资料 统计学习理论的本质，Vladimir N. Vapnik 著， 张学工译，清华大学出版社，2000.09 * Bernhard Scholkopf, Alex J. Smola , CHRISTOPHER J.C. BURGES 支持向量机导论，N.Cristianini, J.Shawe-Taylor著，电子工业出版社，2004.03 Support Vector Classification. Steven Gunn. 1、支持向量机可以做什么？ * 支持向量机的应用之一：手写体数字识别 1、支持向量机可以做什么？ NIST手写体数字的前100个 目前最好的识别水平： LeNet 4 多项式支持向量机 （错误率0.7%） * （错误率0.8%） 贝尔实验室对美国邮政手写数字库进行的实验 分类器 错误率 人工表现 2.5% 决策树C4.5 16.2% 最好的两层神经网络 5.9% SVM 4.0% SVM与神经网络（NN）的对比 SVM的理论基础比NN更坚实，更像一门严谨的“科学”（三要素：问题的表示、问题的解决、证明） SVM —— 严格的数学推理 NN —— 强烈依赖于工程技巧 推广能力取决于“经验风险值”和“置信范围值”，NN不能控制两者中的任何一个。 NN设计者用高超的工程技巧弥补了数学上的缺陷——设计特殊的结构，利用启发式算法，有时能得到出人意料的好结果。 同理，与SVM相比，NN不像一门科学，更像一门工程技巧，但并不意味着它就一定不好！ 1、支持向量机可以做什么？ 支持向量机的应用之二：性别识别 SVM SVM 男或女 男或女 SVM 男或女 * 1、支持向量机可以做什么？ 支持向量机的应用之三：行人检测 * 2、支持向量机的提出 问题1：支持向量机为什么会有如此好的性能？ 问题2：何为最优分类面？ * 它追求的不仅仅是得到一个能将两类样本分开的分类面，而是要得到一个最优的分类面。 To be No.1 2、支持向量机的提出 参考标准：使错分样本数目最少 缺陷1：错分训练样本数目对判别函数的好坏评估不够精细 错分样本数最少 错分训练样本数最少 * 缺陷2：拥有较少的错分训练样本数的判别函数未必就是一个好的判别函数 2、支持向量机的提出 * margin 2、支持向量机的提出 支持向量机的标准：使margin尽可能大 :两类样本到分类面的最短距离之和 * a. 线性支持向量机的数学模型 3、支持向量机的数学模型 设所求的分类面表达式为： 该分类面若能将训练样本线性分开，则： * 对于有限个数的样本，存在 上式可简写为： 即： 其中， 在上述约束条件下，SVM的求解 则是最大化margin的过程。 问题：若将分类面（w,b）对应的margin记为 ，则 * 优化目标 约束条件 利用线性SVM求解线性分类面本质上是求解如下优化问题： * 综上所述，线性SVM的数学模型可以描述为： 给定训练样本集 b.支持向量机的求解 * 支持向量机的优化模型： 一般的优化问题模型： Step1：构造Lagrange函数 Step2: 求解Lagrange函数的鞍点 求解L(w , b ;α)关于w和b的最小值，关于α的最大值，即： Lagrange乘子 b.支持向量机的求解：拉格朗日对偶法 * Step 3 代入Lagrange函数，得到原始问题的对偶问题： 对L(w , b ;α)关于w和b求偏导，得： * * 原始问题与对偶问题解的关系： 原始问题 对偶问题 * KKT条件与支持向量 对于这样的样本，我们称为支持向量（Support Vectors） ，它将使得 对于取值不为零的 KKT条件 * 对偶问题的解 是最优解的前提条件是： 最优超平面是支持向量的线性组合 SVM的解的表达式可以重写为： 支持向量机的判别函数： * SVM方法的特点及应用展望 SVM是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等，因此不同于现有的统计方法。从本质上看，它避开了从归纳到演绎的传统过程，实现了高效的从训练样本到预报样本的“转导推理”(transductive inference)，大大简化了通常的分类和回归等问题。 SVM的最终决策函数只由少数的支持向量所确定，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了“维数灾”。如果说神经网络方法是对样本的所有因子加权的话，SvM方法是对只占样本数的支持向量样本“加权”。当预报因子与预报对象间蕴涵的复杂非线性关