模式识别(第十三章SVM2010).pptVIP

在约束条件下，求式（7）的极小值，可得线性不可分情况下的最优分类面，称为广义最优分类面。 对?i 求解下式 的最大值。 同理，利用拉格朗日乘子法，可把求解广义最优分类面问题转化为在如下约束条件下： C为可调参数，即惩罚因子（C越大，惩罚越重），称这种SVM为C—SVM 训练样本之间的内积 在保留松驰项?i的基础上，引入一新的参数V来控制支持向量的数目和误差， 改进算法：V－SVM 约束条件： ， 对应的对偶问题：在如下约束条件下： 求最小值，即 （9） 相应的判别函数也变为： 原始的SVM是两类分类器，对于多类分类问题需 进行扩展，常用的方法有一类对余类和一类对一类。 （10） 3.非线性SVM： 可通过某种非线性变换转化为另一空间的线性问题，在此线性空间求解最优或广义最优分类面，即将非线性问题映射为线性问题。 注意到无论训练样本是否线性可分，求解其对应的优化问题以及最终得到的最优分类超平面都只需计算原始特征空间中样本间的内积，而不需要知道从原始特征空间到高维特征空间的非线性映射的具体形式 * 2）经验非线性方法 如人工神经网络（ANN） 利用已知样本建立非线性模型。 缺点：缺乏一种统一的数学理论 统计学习理论 —针对小样本统计估计和预测的最佳理论 1.统计学习理论基本思想 由贝尔实验室Vapnik于1992年首次提出 研究小