13第十三章支持向量机解析.ppt

第13章 支持向量机 13.1支持向量机的分类思想 传统模式识别技术只考虑分类器对训练样本的情况，以最小化训练集上的分类错误为目标，通过为训练过程提供充足的训练样本来试图提高分类器在未见过的测试集上的识别率。然而，对于少量的训练样本集合来说，我们不能保证一个很好地分类训练样本的分类器也能很好地分类测试样本。在缺乏代表性的小训练集情况下，一味的降低训练集上的分类错误将会导致过渡拟合。 支持向量机以结构化风险最小化为原则，即兼顾训练误差与测试误差的最小化，具体体现在分类模型的选择和模型参数的选择上。 13.1.1分类模型的选择 要分类如图13.1（a）所示的两个样本，我们看到图中的曲线可以将（a）中的训练样本全部分类正确，而直线则会错分两个训练样本；然而，对于（b）中的大量测试样本，简单的直线模型却取得了更好的识别结果。应该选择什么样的分类模型呢？ 图13.1中复杂的曲线模型过渡拟合了训练样本，因而在分类测试样本时效果并不理想。我们了解到通过控制分类模型的复杂性可以防止过渡拟合，因此SVM更偏爱解释数据的简单模型——二维空间中的直线，三维空间中的平面和更高维空间中的超平面。 13.1.2模型参数的选择 如图13.2所示为2维空间中的两类样本，可以采用（a）图中的任意直线将它们分开。但哪条直线才是最优的选择呢？ 直观上，距离训练样本太近的分类线对噪声比较敏感，且对训练样本之外的数据不太可能归纳得很好；而远离所有训练样本的分类线将可能具有较好的归纳能力。所谓最优分类线就是要求分类线不但能将两类正确分开（训练错误率为0），而且分类间隔最大，实际上，SVM正是从线性可分情况下的最优分类面发展而来的，其主要的思想是寻找能够成功分开两类样本并具有最大分类间隔的最优分类超平面。 寻找最优分类面的算法最终将转化为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了再神经网络方法中无法避免的局部极值问题。 13.2 支持向量机的理论基础 本节主要介绍SVM的理论基础和实现原理，将分别阐述线性可分，非线性可分以及需要核函数映射这3种情况下的SVM。 13.2.1 线性可分情况下的SVM 如果用一个线性函数（如二维空间中的直线，三维空间中的平面以及更高维数空间中的超平面）可以将分类样本完全分开，就称这些样本是线性可分的。反之，如果找不到一个线性函数将两类样本分开，则称这些样本是非线性可分的。 13.2.2 非线性可分情况下的C-SVM 1.约束条件 为处理样本非线性可分的情况，我们放宽约束，引入松弛变量， 此时约束条件变为： 值得注意的是对于不同的松弛变量可以分为3中情况考虑。 1.约束条件退化为线性可分时的情况即图中所有“。”和“x”的样本点。 2.小于1约束条件放宽到允许样本落在分类间隔内，大于0指约束样本仍可被分割超平面正确分类，对应于图中标号为2的样本。 3.大于1此时约束条件已放宽到允许有分类错误的样本 图中第3类样本，具体为图中标号为“。”和“x”。 图中标号为“1”“2”“3”的均为在线性不可分情况下的支持向量。由于在这种情况下允许样本落入分类间隔内，我们常把这个分类间隔叫做软间隔。 2.目标函数 利用一个附加错误代价系数C后，目标函数变为： 我们的目标是最小化目标函数。 通过调整C值可以实现分类超平面同时兼顾训练错误和推广能力。 不同的C值对于分类有不同的影响。（a）对应一个相对较大的C值，导致了一个较小间隔但没有错分训练样本的分类超平面；（b）图是将a中得到的分类超平面应用于测试样本中的效果，间隔较小，分类器的推广能力不强，不够理想；（c）中虽然有一个训练样本被分错了，但得到了一个较大分类间隔的超平面；（d）中展示的是将c中得到的分类超平面应用于测试样本中的效果，间隔较大，分类器的推广能力强。 3 优化求解 类似于线性可分情况下的推导，得到下面的对偶问题。 在如下约束条件下： 最大化后 同样在利用二次规划技术解得最优a值后，可以计算出w*和b*的值，最终的决策函数与（13-17）相同。 13.2.3 需要核函数映射情况下的SVM 核函数 13.2.4 推广到多类问题 一对多的最大响应策略 一对一的投票策略 一对一的淘汰策略 以上3种多类问题的推广策略在实际应用中一般都能取得满意的结果，相比之下第2种和第3种在很多情况下能取得更好的效果。 13.3 SVM的matlab实现 13.3.1 训练——svmtrain SVMStruct =