模式识别第十三章svm.pptxVIP

2）经验非线性方法 如人工神经网络（ANN） 利用已知样本建立非线性模型。 缺点：缺乏一种统一的数学理论;1.统计学习理论基本思想; 在这一理论基础上，发展了一种新的通用模式识别方法——支持向量机（SVM）;打散:若存在一个有h个样本的样本集，被一函数集里的某个函数按照所有可能的2h种形式分为两类，则称函数集能够把样本数为h的样本集打散(shattering)。;例如：3个样本被线性分类器打散的情况; 能打散 ?VC维为3; VC维是目前为止对函数集学习性能的最好描述指标。但遗憾的是目前尚没有通用的关于如何计算任意函数集的VC维的理论。;结构风险最小化的思想; 将函数集构造为一个函数子集序列S1? S2??? Sk ??,使各个子集按照VC维的大小排列（h1? h2??? hk ??）。在每个子集中寻找最小经验风险,随子集复杂度增加而减小，在子集间折衷考虑经验风险和置信界限,取得实际风险的最小 ; 结构风险最小就是根据函数集的性质将它划分成一系列嵌套的子集，学习问题就是选择最好的子集(根据推广能力)和在子集中选择最好的函数（根据经验风险） ;分类超平面的一些基本概念;2.支持向量机算法; 由于SVM在解决小样本，非线性及高维模式识别问题中表现出许多特有的优势，因此受到广泛的关注。; 使两类无错误的分开，且使两类的分类空隙最大，前者是保证经验风险尽可能小, 后者是使真实风险最小。;SVM问题的数学表示（线性可分情况）;;;; 这样的直线并不唯一。如果平行推移直线H1 ，直到碰到某类训练点，就可得到两条极端直线H2和H3 ，在直线H2和H3之间的平行直线都能正确分类。显然在H2和H3中间的那条直线H为最好。 ;判别函数归一化：;则H为：; 如前所述，对于适当的法向量，会有两条极端的直线，这两条直线之间有间隔。最优分类直线就应该是两直线间隔最大的那个法向量所表示的直线。; 分类平面应使两类之间的间隔最大。归一化后分类 面方程 应满足：;;;;;于是，对w和b求拉个朗日函数的极小值来求解最优分类面问题，可转化为在如下约束条件下;; 由任一支持向量通过式(1)可求得b*。则最优分类函数为：;2. 线性不可分情况; 在约束条件??，求式（7）的极小值，可得线性不可分情况下的最优分类面，称为广义最优分类面。; 在保留松驰项?i的基础上，引入一新的参数V来控制支持向量的数目和误差，;;;; ?非线性SVM采用核函数，将引入向量x，通过映射?：Rn ?H，即映射到Hilert 空间。; 一般不需要知道?的具体形式和所属空间，只需一种核函数满足Mercer条件，它就对应某一变换空间中的内积，即对函数g(x)不恒为0,且;对不同的核函数，对应不同的SVM，常用的几种有： ;4、Sigmoid核函数： ;SVM存在的问题： 算法速度慢，算法复杂且难以实现，检测阶段运算量大等。 改进： 去掉使?j＝0的训练样本，对给定的训练样本，若支持向量已知，寻优法可以排除非支持向量，只需对支持向量计算权值?j即可。