现代机器学习 课件 第6章 支持向量机.pptx

第6章支持向量机;

6.1支持向量机简介;

支持向量机的学习过程是一个构造由简至繁构造模型的过程,包含线性可分支持向量机、线性支持向量机和非线性支持向量机。简单模型是复杂模型在特殊情况下的一种模式,

也是分析复杂模型的基础。在训练数据线性可分的情况下,通过使硬间隔最大化为目标训练,可以得到一个线性分类器,即线性可分支持向量机,也称为硬间隔支持向量机;在训练数据近似线性可分的情况下,通过使软间隔最大化为目标训练,得到的也是一个线性分类器,即线性支持向量机,也称为软间隔支持向量机;在训练数据线性不可分的情况下,通过将核函数方法和软间隔最大化并用,可以学习出非线性支持向量机。;

当输入数据空间为欧式空间或者离散集合,特征空间为希尔伯特空间时,核函数表示将输入数据从输入空间映射到特征空间后得到的特征向量之间的内积,通过引入核函数的

方法,可以使得支持向量机能够处理非线性分类问题,等价于隐式的在高维特征空间中学习线性支持向量机。核函数方法是比支持向量机更为一般的机器学习方法。;

6.2线性支持向量机;

图6.1所示的二维特征空间中的分类问题,训练数据集线性可分,此时可以将两种数据正确分类的直线有无数条,而线性支持向量机对应的直线为使得两类数据正确划分且间隔最大的直线。;;

6.2.1函数间隔与几何间隔

一般情况下,一个点距离超平面的远近程度可以代表分类预测的确信度,