支持向量机机器学习84课件讲解.pptxVIP

机器学习徐国清支持向量机河南工业职业技术学院

目录支持向量机的概念支持向量机的核函数与参数选择

支持向量机的概念支持向量机（supportvectormachine，SVM）曾经在机器学习界有着近乎「垄断」地位的模型，影响力持续了好多年。直至今日，即使深度学习神经网络的影响力逐渐增强，但SVM在中小型数据集上依旧有着可以和神经网络抗衡的极好效果和模型鲁棒性。

支持向量机的概念下面来说明几个概念线性可分：在数据样本中，如果可以找出一个超平面，将两组数据分开，那么这个数据样本是线性可分的。线性不可分：在数据样本中，没法找出一个能够将两组数据分开的超平面，那么这个数据样本是线性不可分的。分割超平面：将数据样本分割开来的直线或者平面称为分割超平面。

支持向量机的概念间隔：数据点到分割超平面的距离称为间隔。支持向量：离分割超平面最近的那些点称为支持向量。

支持向量机的概念如图所示，直线将红色数据点（图中为深色）和绿色数据点（图中为浅色）完美地分割开了，则称为线性可分。

支持向量机的概念如图所示，我们无法找到一条直线，能将红色数据点（图中为深色）和绿色数据点（图中为浅色）完美地分割开，则称为线性不可分。

支持向量机的概念如图所示，我们可以看到在直线H的两侧分别有H1和H2两条直线，那些正好压在H1和H2上的数据点就是支持向量。中间的直线H（在高维数据中是一个超平面）和所有支持向量之间的距离都是最大的。理论上像直线H这样的决策边界有无数种选择，因为我们还能画出很多条不同的能够把圆点数据和正方形数据进行分割的直线，但是哪一种是最好的分类方式呢？SVM认为靠近决策边界的点（正负样本）与决策边界的距离最大时，才是最好的分类选择，这个距离就是所谓的最大分类间。

支持向量机的概念

支持向量机的核函数与参数选择支持向量机

支持向量机的核函数与参数选择我们很难在二维空间上将圆点数据和五角星数据进行类别的划分，但是如果我们将二维空间变成三维空间就好办了。如果圆点数据是轻飘飘的，可以浮上来；五角星数据是沉甸甸的，会沉下去，这样我们就可以在浮起的圆点数据和沉下去的五角星数据中间找出一个超平面将两类数据进行分割。

支持向量机的核函数与参数选择这种将二维空间变成三维空间的过程就称为将数据投射至高维空间，SVM的核函数就具有这个功能。在SVM中，最常用的把数据投射到高维空间的方法分别是多项式内核（polynomialkernel）和径向基函数（radialbasisfunction，RBF）内核。而RBF内核也被称为高斯内核（gaussiankernel）。

支持向量机的核函数与参数选择在SVM分类器两侧分别有两条虚线，也就是我们找到了一条分割直线（中间的实线）将数据点分成了两类。把SVM的内核换成RBF内核时，会得到右图所示的结果。

支持向量机的核函数与参数选择classsklearn.svm.SVC(*,C=1.0,kernel=rbf,degree=3,gamma=scale,coef0=0.0,shrinking=True,probability=False,tol=0.001,cache_size=200,class_weight=None,verbose=False,max_iter=-1,decision_function_shape=ovr,break_ties=False,random_state=None)

支持向量机的核函数与参数选择参数说明C浮点数，默认=1.0

正则化参数。正则化的强度与C成反比。必须严格为正。此惩罚系数是l2惩罚系数的平方kernel{‘linear’,‘poly’,‘rbf’,‘sigmoid’,‘precomputed’},默认=’rbf’

指定算法中使用的内核类型。它必须是“linear”，“poly”，“rbf”，“sigmoid”，“precomputed”或者“callable”中的一个。如果没有给出，将默认使用“rbf”。degree整数型，默认=3

多项式核函数的次数(poly)。将会被其他内核忽略。gamma浮点数或者{‘scale’,‘auto’},默认=’scale’

核系数包含‘rbf’,‘poly’和‘sigmoid’

如果gamma=scale(默认)，则它使用1/(n_features*X.var())作为gamma的值，如果是auto，则使用1/n_features。

在0.22版本有改动：默认的gamma从“auto”改为“scale”。

支持向量机的核函数与参数选择shrinking布尔值，默认=True

是否使用缩小启发式tol浮点数，默认=1e-3

残差收敛条件。cache_size浮点数，默认=200