支持向量机和核函数.pptxVIP

第5章 支持向量机和核函数 ;;一般模式识别方法的问题;; 机器学习本质上就是一种对问题真实模型的逼近，但真实模型一定是不知道的。那么我们选择的假设与问题真实解之间究竟有多大差距，我们就没法得知。这个与问题真实解之间的误差，就叫做风险。我们选择了一个假设后，真实误差无从得知， 但我们可以用某些可以掌握的量来逼近它。最直观的想法就是使用分类器在样本数据上的分类的结果与真实结果（因为样本是已经标注过的数据，是准确的数据）之间的差值来表示。这个差值叫做经验风险Remp(w)。以前的机器学习方法都把经验风险最小化作为努力的目标，但后来发现很多分类函数能够在样本集上轻易达到100%的正确率，在真实分类时却一塌糊涂（即所谓的推广能力差，或泛化能力差）。; 原因：选择了一个足够复杂的分类函数，能够精确的记住每一个样本，但对样本之外的数据一律分类错误。 统计学习引入了泛化误差界的概念，就是指真实风险应该由两部分内容刻画，一是经验风险，代表了分类器在给定样本上的误差；二是置信风险，代表了我们在多大程度上可以信任分类器在未知样本上分类的结果。很显然，第二部分是没有办法精确计算的，因此只能给出一个估计的区间，也使得整个误差只能计算上界，而无法计算准确的值。 置信风险与两个量有关，一是样本数量，显然给定的样本数量越大，我们的学习结果越有可能正确，此时置信风险越小；二是分类函数的VC维，VC维越大，推广能力越差，置信风险会变大。 ;2）经验非线性方法 如人工神经网络（ANN） 利用已知样本建立非线性模型。 缺点：缺乏一种统一的数学理论;1.统计学习理论基本思想; 在这一理论基础上，发展了一种新的通用模式识别方法——支持向量机（SVM）;;VC维的引入;打散:若存在一个有h个样本的样本集，被一函数集里的某个函数按照所有可能的2h种形式分为两类，则称函数集能够把样本数为h的样本集打散(shattering)。;例如：3个样本被线性分类器打散的情况; 能打散 ?VC维为3; VC维是目前为止对函数集学习性能的最好描述指标。但遗憾的是目前尚没有通用的关于如何计算任意函数集的VC维的理论。; VC维是目前为止对函数集学习性能的最好描述指标。但遗憾的是目前尚没有通用的关于如何计算任意函数集的VC维的理论。;结构风险最小化的思想; 将函数集构造为一个函数子集序列S1? S2??? Sk ??,使各个子集按照VC维的大小排列（h1? h2??? hk ??）。在每个子集中寻找的最小经验风险,随子集复杂度增加而减小，在子集间折衷考虑经验风险和置信界限,取得实际风险的最小 。; 结构风险最小就是根据函数集的性质将它划分成一系列嵌套的子集，学习问题就是选择最好的子集(根据推广能力)和在子集中选择最好的函数（根据经验风险） ;分类超平面的一些基本概念;2.支持向量机算法; 由于SVM在解决小样本，非线性及高维模式识别问题中表现出许多特有的优势，因此受到广泛的关注。; 使两类无错误的分开，且使两类的分类空隙最大，前者是保证经验风险尽可能小, 后者是使真实风险最小。;SVM问题的数学表示（线性可分情况）;;;; 这样的直线并不唯一。如果平行推移直线H1 ，直到碰到某类训练点，就可得到两条极端直线H2和H3 ，在直线H2和H3之间的平行直线都能正确分类。显然在H2和H3中间的那条直线H为最好。 ;判别函数归一化：;则H为：; 如前所述，对于适当的法向量，会有两条极端的直线，这两条直线之间有间隔。最优分类直线就应该是两直线间隔最大的那个法向量所表示的直线。; 分类平面应使两类之间的间隔最大。归一化后分类 面方程 应满足：;;;;;约束是什么？;;;于是，对w和b求拉个朗日函数的极小值来求解最优分类面问题，可转化为在如下约束条件下;; 由任一支持向量通过式(1)可求得b*。则最优分类函数为：;2. 线性不可分情况; 在约束条件下，求式（7）的极小值，可得线性不可分情况下的最优分类面，称为广义最优分类面。;; 在保留松驰项?i的基础上，引入一新的参数V来控制支持向量的数目和误差，;;;多类SVM算法;;;;;;;线性分类;非线性分类;非线性分类; one case study：核函数引入; one case study：核函数引入; one case study：核函数引入;one case study：核函数引入; one case study：核函数引入; one case study：核函数引入; one case study：核函数引入; one case study：核函数引入; ?非线性SVM采用核函数，将引入向量