支持向量机简介.pptVIP

支持向量机简介 主要内容 SVM的理论基础 相关基础知识 线性支持向量机的求解 非线性支持向量机——核方法 算法归纳 关于SVM 思想： 通过某种事先选择的非线性映射（核函数）将输入向量映射到一个高维特征空间，在这个空间中寻找最优分类超平面。使得它能够尽可能多的将两类数据点正确的分开，同时使分开的两类数据点距离分类面最远。 途径： 构造一个约束条件下的优化问题，具体说是一个带线性不等式约束条件的二次规划问题(constrained quadratic programing),求解该问题，构造分类超平面，从而得到决策函数。 SVM的理论基础 传统机器学习方法的经验风险最小化原则 统计学习理论的结构化风险最小化原则 VC维 泛化误差的边界 经验风险最小化原则ERM 传统的学习理论主要是基于经验风险最小化原则（ERM）的。 学习机器的预测输出的期望风险可以表示为： 最小化期望风险R(a)，必须利用联合概率F(x,y)的信息。 在实际中，联合分布未知，只有观测样本。 用算术平均值逼近期望风险。 多年来，经验风险最小化原则作为解决模式识别等机器学习问题的基本思想，几乎统治了这个领域内的所有研究。 理论表明，当训练数据趋于无穷多时，经验风险收敛于实际风险。因此经验风险最小化原则隐含地使用了训练样本无穷多的假设条件。 复杂度高的学习机器，往往具有较低的经验风险。因此，经验风险最小化原则的结果，将使学习机器变得越来越复杂。 因此，如何根据实际问题，在学习机器的经验风险和模型复杂度之间取得合理的折衷，从而使学习机器具有更高的泛化性能，是非常重要的问题。 VC维 统计学习理论是关于小样本进行归纳学习的理论，其中一个重要的概念就是VC维（Vapnik-Chervonenkis dimension）。 模式识别方法中VC维的直观定义是：对一个指示函数集，如果存在h个样本能够被函数集里的函数按照所有可能的2h种形式分开，则称函数集能够把h个样本打散。函数集的VC维就是它能打散的最大样本数目h。 若对任意数目的样本都有函数能将它们打散，则函数集的VC维是无穷大。 VC维 VC维反映了函数集的学习能力。一般而言，VC维越大则学习机器越复杂，学习容量越大。 一般地，对于n维空间Rn中，最多只能有n个点是线性独立的，因此Rn空间超平面的VC维是n+1。Rn空间中的超平面共有n+1个独立的参数，恰好等于VC维数。 在非线性情况下学习机器的VC维通常是无法计算的，通过变通的办法巧妙地避开直接求VC维的问题。 泛化误差的边界 统计学习理论从VC维的概念出发，推导出了关于经验风险和实际风险之间关系的重要结论，称作泛化误差的边界。 结构风险最小化原则SRM “结构风险最小化原理”的基本想法：如果我们要求风险最小，就需要使得不等式中两项相互权衡，共同趋于极小；另外，在获得的学习模型经验风险最小的同时，希望学习模型的泛化能力尽可能大，这样就需要h值尽可能小，即置信风险最小。 如果固定训练样本数目l的大小，则控制风险R(a)的参量有两个：Remp(a)和h。 (1)经验风险Remp(a)依赖于学习机器所选定的函数f(a,x),这样，我们可以通过控制a来控制经验风险。 (2) VC维h依赖于学习机器所工作的函数集合。为了获得对h的控制，可以将函数集合结构化，建立h与各函数子结构之间的关系，通过控制对函数结构的选择来达到控制VC维h的目的。 支持向量机通过最大化分类边界以最小化VC维，也即在保证经验风险最小的基础上最小化置信风险，从而达到最小化结构风险的目的，因此支持向量机方法实际上就是结构风险最小化思想的具体实现。 相关基础知识 分类问题 两类可分问题的线性分类机 求解线性分类问题的优化方法（拉格朗日乘子） 对偶理论 1、分类问题 设有两类模式C1和C2， 2、两类可分问题的线性分类机 对于线性可分的两类模式C1和C2，能够准确将其分开的直线不是唯一的。 假设，已知分类线l的法线矢量为w0 ，则分类线的表达式为： 因此，寻找最大带宽k的问题，就转化为寻找||w||的问题。为了计算上的方便，取目标函数为1/2||w||。 对于任意学习样本（Xn,yn）,其分布必然在直线l1之上或直线l2 之下。 3、求解线性分类问题的优化方法 上式只涉及到变量w的二次关系||w||，因此是一个二次规划问题。 二次规划问题有唯一的最优解，不存在局部最优，这是本算法的突出优点。 最优化问题的基本概念： （1）无约束问题全局最优的充分必要条件： （2）二维等式约束问题： 4、对偶问题 （1）原始问题与对偶问题 （2）Wolfe对偶问题 线性支持向量机的求解 两类可分情况 两类线性可分的支持向量机问题是一个二次规划问题（目标函数上多了一个平方），满足强对偶