模式识别第十三章.ppt

这也是一个二次函数寻优问题，存在唯一解。解中只有支持向量对应的系数?i为非零值，即：只有支持向量影响最终的划分结果。若为最优解，则任取，可求得（可用支持向量求得）。第30页,共42页，星期六，2024年，5月由任一支持向量通过式(1)可求得b*。则最优分类函数为：（6）式中求和实际只对支持向量进行（非支持向量对应的为0），b*是分类阈值，可用任意支持向量（满足（1）式的等号）求得，或通过两类中任意一对支持向量取中值求得。待分样本x与支持向量xi的内积第31页,共42页，星期六，2024年，5月2.线性不可分情况约束条件：（7）（8）引入松弛项，使得允许存在错分样本，对应的优化问题变为：第32页,共42页，星期六，2024年，5月在约束条件下，求式（7）的极小值，可得线性不可分情况下的最优分类面，称为广义最优分类面。对?i求解下式的最大值。同理，利用拉格朗日乘子法，可把求解广义最优分类面问题转化为在如下约束条件下：C为可调参数，即惩罚因子（C越大，惩罚越重），称这种SVM为C—SVM训练样本之间的内积第33页,共42页，星期六，2024年，5月在保留松驰项?i的基础上，引入一新的参数V来控制支持向量的数目和误差，改进算法：V－SVM约束条件：，第34页,共42页，星期六，2024年，5月对应的对偶问题：在如下约束条件下：求最小值，即（9）第35页,共42页，星期六，2024年，5月相应的判别函数也变为：原始的SVM是两类分类器，对于多类分类问题需进行扩展，常用的方法有一类对余类和一类对一类。（10）第36页,共42页，星期六，2024年，5月3.非线性SVM：可通过某种非线性变换转化为另一空间的线性问题，在此线性空间求解最优或广义最优分类面，即将非线性问题映射为线性问题。注意到无论训练样本是否线性可分，求解其对应的优化问题以及最终得到的最优分类超平面都只需计算原始特征空间中样本间的内积，而不需要知道从原始特征空间到高维特征空间的非线性映射的具体形式第37页,共42页，星期六，2024年，5月?非线性SVM采用核函数，将引入向量x，通过映射?：Rn?H，即映射到Hilert空间。设核函数k满足下式：第38页,共42页，星期六，2024年，5月一般不需要知道?的具体形式和所属空间，只需一种核函数满足Mercer条件，它就对应某一变换空间中的内积，即对函数g(x)不恒为0,且所以采用引入适当核函数k的方法，就可实现非线性变换后的线性分类。事实上，在取核函数为点积形式时，就是线性SVM。则有：第39页,共42页，星期六，2024年，5月对不同的核函数，对应不同的SVM，常用的几种有：1、线性SVM：2、多项式SVM：（为多项式的阶数）3、高斯核函数SVM：（为方差）第40页,共42页，星期六，2024年，5月4、Sigmoid核函数：(、是给定的常数）这时，目标函数为：相应分类函数为：这就是支持向量机第41页,共42页，星期六，2024年，5月SVM存在的问题：算法速度慢，算法复杂且难以实现，检测阶段运算量大等。改进：去掉使?j＝0的训练样本，对给定的训练样本，若支持向量已知，寻优法可以排除非支持向量，只需对支持向量计算权值?j即可。新方法：超球面第42页,共42页，星期六，2024年，5月2）经验非线性方法如人工神经网络（ANN）利用已知样本建立非线性模型。缺点：缺乏一种统一的数学理论统计学习理论—针对小样本统计估计和预测的最佳理论第2页,共42页，星期六，2024年，5月1.统计学习理论基本思想由贝尔实验室Vapnik于1992年首次提出研究小样本下机器学习规律的理论。针对小样本统计问题，建立了一套新的理论体系基本思想：折衷考虑经验风险和推广的置信界限，取得实际期望风险的最小化。即根据有限样本信息在模型复杂性和学习能力之间寻求最佳折中两大核心概念：VC维和结构风险最小化。第3页,共42页，星期六，2024年，5月在这一理论基础上，发展了一种新的通用模式识别方法——支持向量机（SVM）发展迅速，已经在许多领域都取得了成功的应用。VC维的概念：（VC是取Vapnik和Chervonenkis名字的首字而成）描述函数集或学习机器的复杂性的指标，即描述机器学习能力的重要指标第4页,共42页，星期六，2024年，5月打散:若存