Python机器学习项目化教程（微课视频版）课件 第8章 支持向量机.pptx

第8章支持向量机

目录CONTENTS8.1SVM简介8.2线性SVM算法实现8.3非线性SVM与核函数8.4SVM回归8.5SVM算法实现8.6本章小结

8.1SVM简介学习基础学习认知能力信息素养高支持向量机是Cortes和Vapnik于1995年提出的一种基于统计学习的二分类模型。它是一种监督学习方法，在学习过程中通过最大化分类间隔使得结构风险最小化。从图8-2可以看出，能将不同样本分开的超平面有很多，但只有一条超平面位于两类样本的“正”中间，这个超平面通常用一个方程d(X)=0来表示，d(X)被称为判决函数或决策函数。图8-1所示是两类线性可分的样本数据分布及划分的示例。图中的线段就是对样本分隔的超平面。

8.1SVM简介1.感知机模型假设输入样本空间，输出空间是Y={+1,-1}，输入样本表示样本的特征向量，即输入空间的样本点；输出表示样本的类别。从输入样本空间到输出样本空间的函数可表示为：该函数称为感知机（Perceptron），其中，称为权值（Weight）或权值向量（WeightVector），称为偏置（Bias），sign为符号函数，即

8.1SVM简介判决函数若f(x)0，则属于正例；若f(x)0，则属于负例。在特征空间中，令判决函数g(x)=，线性方程是一个超平面S，其中w是超平面的法向量，b是超平面的截距。这个超平面将特征空间划分为两部分，这两部分的样本点分别被分成正、负两例，超平面S就是分离超平面。

8.1SVM简介2模型参数学习任意一点(x,y)到直线的距离为，因此二维样本点(x,y)到线性方程的距离为，其中，。，对于误分样本点(xi,yi)，当时，有；当时，有。因此，于是误分样本点到超平面S的距离为：若超平面S的误分样本点个数为N，则误分样本点到超平面S的总距离为：

8.1SVM简介采用随机梯度下降法（StochasticGradientDescent，SGD）学习参数w和b：参数w和b的迭代更新公式：

8.1SVM简介输入：训练数据集D={(x1,y1),(x2,y2),…,(xN,yN)}、迭代次数、学习率，其中：，Y={+1,-1}。过程：（1）初始化参数：，b=0。（2）对于j=1,2,…,N，当为空集，即没有误分样本点，则结束循环，否则转到第（3）步执行。（3）任意取X中的样本点(xi,yi)更新参数。输出：感知机模型参数w和b，并利用计算分类的准确率。

8.1SVM简介利用以上感知机算法对样本进行分类，其散点图及分类结果如图8-4所示。

8.1SVM简介1.间隔最大化在对样本数据分类时，超平面离数据点的间隔越大，产生误差的可能性就会越小，也就是分类的确信度越大。因此，为了使分类的确信度尽可能高，需要让选择的超平面尽可能地最大化这个间隔。以最大间隔把两类样本分开的超平面，称之为最大间隔超平面。分类问题中的最大间隔、支持向量表示如图8-5所示。

8.1SVM简介支持向量就是离最大间隔超平面最近的样本点，根据前面得到的支持向量到超平面的距离为将上式进行变换，进而有：

8.1SVM简介SVM算法的目标就是最大化这个几何间隔d：间隔最大化问题就是求最优化问题：

8.1SVM简介这是一个凸二次规划问题，不容易求解，可用拉格朗日乘子法对其对偶问题进行求解。对上面的公式构造拉格朗日函数：其中，。原问题与对偶问题有相同的解：调整w和b，使拉格朗日函数取最小值。

8.1SVM简介将上式代入拉格朗日函数：下面调整参数，使目标函数取得最大值：对任意的支持向量（xs,ys），有：

8.1SVM简介输入：训练数据集D={(x1,y1),(x2,y2),…,(xN,yN)}、迭代次数、惩罚因子C、学习率，其中：，。过程：（1）初始化参数：，b=0。（2）对于j=1,2,…,N：①计算误差向量，其中。②取出误差最大的一项，即。③如果，则