《大数据挖掘与统计机器学习（第3版）》 课件 第 5 章 支持向量机.pptx

第5章支持向量机在众多分类方法中,支持向量机(SupportVectorMachine,SVM)是非常重要的一种,它于20世纪90年代由Vapnik等人提出,开始主要用于二分类,后来扩展到模式识别、多分类及回归等。支持向量机是一种典型的监督学习模型,从几何的角度来看,它的学习策略是间隔最大化,可化成一个凸二次规划的问题。从代数的角度来看,支持向量机是一种损失函数加罚的模型。1

5.1.线性可分支持向量机5.1.1简介如果两类点可以用一条直线或一个超平面分开,则称这些点是线性可分(linearlyseparable)模式;如果这两类点不能用一条直线或者一个超平面分开,那么这些点是线性不可分模式。线性可分支持向量机:2

在现有的训练数据下,无疑同时远离两类数据点的直线是最好的。因此问题变成如何度量点到直线的距离,然后最大化这些距离的和。这就是所谓的最大间隔原则。我们所要求的最宽的隔离带实际上并不是由所有样本点决定的,而仅仅是由训练集中的三个点,即第4,8,30个观测点确定的,这三个点(当然也是向量)就称为支持向量(supportvector),它们刚好在隔离带的边界(margin)上。3

?4

?5

?6

?7

?8

?9

?10

?11