第6章 支持向量机.pptxVIP

第6章支持向量机;简介;本章要点;6.1最大间隔及超平面;6.1最大间隔及超平面;6.2线性可分支持向量机;将距离超平面最近的点与超平面之间的距离记为

最优化问题可写做

;?;?; 在感知机模型中，优化的目标是：在满足模型能够正确分类的约束条件下，使得样本集合中的所有点到分割超平面的距离最小，这样的超平面可能存在无数个。一个简单的例子，假如二维空间中样本集合中正负样本个数点均为一个，那么垂直于两者所连直线，且位于两者之间的所有直线都将是符合条件的解。由于优化目标不同，造成解的个数不同，这是支持向量机与感知机模型很大的一个不同。

;

对于以上提到的优化问题（上式），可使用拉格朗日乘子法进行求解，拉格朗日函数为：

其中，，表示拉格朗日乘子。令对和的偏导为0

;解得：

代入得到：

求对的极大，等价于求对的极小，因此原式的对偶问题为

; 求解上式（对偶问题）的优化问题，即可得到：，根据KKT(Karush-Kuhn-Tucker)条件，是原始问题的最优解，且是对偶问题的最优解的充要条件是：，满足KKT条件，即：

由考察KKT条件的第三条，可以发现或

因此假设，则必有,于是,由此得到分割超平面;?;?;?;?;类似于线性可分支持向量机中的求解过程，上式的拉格朗日函数可写作

是拉格朗日乘子.令对的导数为0,可解得

;代入：

求对的极大，等价于求对的极小.因此，此问题的对偶问题为;?;?;类似线性可分支持向量机，可得

由此得到分割超平面

通过分析的值，可以确定样本相对分割超平面的位置;?;?;对于变量x，合页损失函数的定义为：

对于线性支持向量机，以下左侧的最优化问题，等价于以下右侧优化式中的问题

其中是合页损失的形式

;; 上面讨论的线性可分支持向量机和线性支持向量机都假设数据是线性可分的（线性支持向量机可以认为是为了解决线性可分样本集合???的噪声问题）。而实际场景中我们经常会遇到数据线性不可分的情况。此时，就可以通过本节介绍的核方法将输入空间线性不可分的数据转化为特征空间线性可分的数据，在特征空间求解支持向量机的超平面。

;?;?;?;相应的决策函数为：

;?;?;?;?;?;6.7 实例：基于支持向量机实现葡萄酒分类;项目中选用的模型是sklearn提供的SVC，其构造函数的kernel参数可以选择

linear：线性核函数

poly：多项式核函数

rbf：径向基核函数/高斯核

sigmod：sigmod核函数

precomputed：提前计算好核函数矩阵

这里使用的是最简单的线性核函数。经过测试，模型在训练集的准确率达到0.993，在测试集的准确率达到0.972。如果使用默认的高斯核函数，模型在训练集的准确率可以达到1，但是在测试集的准确率却跌至0.444。这说明，高斯核函数提高了模型容量，但是数据集大小不足，以致模型过拟合。; sklearn还提供了LinearSVC类，该模型默认使用线性核函数。

尝试使用LinearSVC类实现葡萄酒数据集的分类，并体会其与SVC类的区别。