模式识别﹝第十三章SVM2010﹞.pptVIP

这也是一个二次函数寻优问题，存在唯一解。解中只有支持向量对应的系数?i为非零值，即：只有支持向量影响最终的划分结果。 若 为最优解，则 任取 ，可求得　（可用支持向量求得）。 由任一支持向量通过式(1)可求得b*。则最优分类函数为： （6） 　　式中求和实际只对支持向量进行（非支持向量对应的 为0），b*是分类阈值，可用任意支持向量（满足（1）式的等号）求得，或通过两类中任意一对支持向量取中值求得。 待分样本x与支持向量xi的内积 * * * 第十三章 支持向量机简介 （Support Vector Machine：SVM） 一般模式识别方法的问题 1）传统统计方法 基于经验风险最小化，经验风险最小不等于期望风险最小，不能保证分类器的推广能力。 经验风险只有在样本数无穷大趋近于期望风险，即在有限样本情况下，经验风险最小并不意味着期望风险最小。 需要已知样本的分布形式 2）经验非线性方法 如人工神经网络（ANN） 利用已知样本建立非线性模型。 缺点：缺乏一种统一的数学理论 统计学习理论 —针对小样本统计估计和预测的最佳理论 1.统计学习理论基本思想 由贝尔实验室Vapnik于1992年首次提出 研究小样本下机器学习规律的理论。针对小样本统计问题，建立了一套新的理论体系 基本思想：折衷考虑经验风险和推广的置信界限，取得实际期望风险的最小化。即根据有限样本信息在模型复杂性和学习能力之间寻求最佳折中 两大核心概念： VC维和结构风险最小化。 在这一理论基础上，发展了一种新的通用模式识别方法——支持向量机（SVM） 发展迅速，已经在许多领域都取得了成功的应用。 VC维的概念： （VC是取Vapnik和Chervonenkis名字的首字而成） 描述函数集或学习机器的复杂性的指标，即描述机器学习能力的重要指标 打散:若存在一个有h个样本的样本集，被一函数集里的某个函数按照所有可能的2h种形式分为两类，则称函数集能够把样本数为h的样本集打散(shattering)。 若对于任意的样本数，总能找到一个样本集能够被这个函数集打散，则函数集的VC维就是无穷大。 函数集的vc维： 用这个函数集中的函数所能够打散的最大样本集的样本数目。也就是说，如果存在h个样本的样本集能够被函数集打散，而不存在有h＋1个样本的样本集能被函数集打散，则函数集的VC维就是h。 例如：3个样本被线性分类器打散的情况 有2h ＝23＝8种分类形式 能打散 ?VC维为3 不能打散 VC维是目前为止对函数集学习性能的最好描述指标。但遗憾的是目前尚没有通用的关于如何计算任意函数集的VC维的理论。 结构风险最小化的思想 Vapnik证明，期望风险与经验风险之间的关系满足如下公式： 其中n表示样本数，h为学习机器的VC维， 称为置信区间。 是随n/h增大而减小的函数。 VC维h越大， 越大，经验风险和期望风险之间的偏差越大。这样即使在经验误差很小的情况下，其推广误差会越大。 将函数集构造为一个函数子集序列S1? S2??? Sk ??,使各个子集按照VC维的大小排列（h1? h2??? hk ??）。在每个子集中寻找最小经验风险,随子集复杂度增加而减小，在子集间折衷考虑经验风险和置信界限,取得实际风险的最小 结构风险最小就是根据函数集的性质将它划分成一系列嵌套的子集，学习问题就是选择最好的子集(根据推广能力)和在子集中选择最好的函数（根据经验风险） SVM是一种比较好地实现了结构风险最小化思想的方法 分类超平面的一些基本概念 W是超平面H的法向量,决定超平面的方向； b 决定超平面的位置。 两类问题：g(x)表示分类面 2.支持向量机算法 找到一个超平面，使得它能够尽可能多的将两类数据点正确的分开，同时使分开的两类数据点距离分类面最远。 目标： 解决方法： 构造一个在约束条件下的优化问题。 SVM是利用核函数将输入向量映射到一个高维特征空间,并在该空间内构造一个最优超平面来逼近分类函数。最优分类超平面的构造最终可以归结为二次寻优问题。 由于SVM在解决小样本，非线性及高维模式识别问题中表现出许多特有的优势，因此受到广泛的关注。 最优分类面： 1）线性可分情况： 对于线性可分问题，是在经验风险为零时，最小化置信范围。 使两类无错误的分开，且使两类的分类空隙最大，前者是保证经验风险尽可能小, 后者是使真实风险最小。 SVM问题的数学表示（线性可分情况） 设两类线性可分训练样本集为 ， d维空间，线性判别函数的一般形式为