第十三章支持向量机.pptVIP

第13章 支持向量机 13.1支持向量机的分类思想 传统模式识别技术只考虑分类器对训练样本的情况，以最小化训练集上的分类错误为目标，通过为训练过程提供充足的训练样本来试图提高分类器在未见过的测试集上的识别率。然而，对于少量的训练样本集合来说，我们不能保证一个很好地分类训练样本的分类器也能很好地分类测试样本。在缺乏代表性的小训练集情况下，一味的降低训练集上的分类错误将会导致过渡拟合。 支持向量机以结构化风险最小化为原则，即兼顾训练误差与测试误差的最小化，具体体现在分类模型的选择和模型参数的选择上。 13.1.1分类模型的选择 要分类如图13.1（a）所示的两个样本，我们看到图中的曲线可以将（a）中的训练样本全部分类正确，而直线则会错分两个训练样本；然而，对于（b）中的大量测试样本，简单的直线模型却取得了更好的识别结果。应该选择什么样的分类模型呢？ 图13.1中复杂的曲线模型过渡拟合了训练样本，因而在分类测试样本时效果并不理想。我们了解到通过控制分类模型的复杂性可以防止过渡拟合，因此SVM更偏爱解释数据的简单模型——二维空间中的直线，三维空间中的平面和更高维空间中的超平面。 13.1.2模型参数的选择 如图13.2所示为2维空间中的两类样本，可以采用（a）图中的任意直线将它们分开。但哪条直线才是最优的选择呢？ 直观上，距离训