机器学习原理与应用课件 第8章 支持向量机.pptxVIP

第8章 支持向量机1

学习目标理解SVM的基本原理掌握Scikit-learn库实现SVM分类的基本方法122

目录页支持向量机38.1基本原理8.2应用实例

引言支持向量机（SupportVectorMachine）由弗拉基米尔.瓦普尼克（VladimirNaumovichVapnik）在1955年提出，其基本思想在于根据最大化样本分类间隔准则对两类样本进行线性分类，同时可利用特征空间变换、两类分类器组合等方式较好地解决样本非线性可分、多类分类等问题，具有较强的泛化能力。此外，支持向量机在样本较少的情况仍然可表现出较好的性能，在许多场合中可较好地弥补以数据驱动为特点的深度学习方法的不足。支持向量机不仅可以用于分类问题，还可以用于回归问题，具有泛化性能好、适合小样本和高维特征等特点，支持向量机是深度学习技术出现之前最好的分类算法，在过去20多年里被广泛应用于数据分析和模式识别的各个领域。4

8.1基本原理感知机（Perceptron）算法由弗兰克.罗森布拉特（FrankRosenblatt）在1958年提出，具有简单而易于实现的优点，是神经网络与支持向量机的基础，其前提是数据集线性可分。感知机是根据输入实例的特征向量x对其进行二类分类的线性分类模型，其目标是求得一个能够将训练集正实例点和负实例点完全正确分开的边界，称为分离超平面。5

8.1基本原理?6

8.1基本原理感知机采用的最优化算法是随机梯度下降法，感知机学习算法分为原始形式和对偶形式，算法不仅简单且易于实现，其思想是先任意选取一个超平面，然后通过梯度下降法不断极小化目标函数。一次随机选取一个误分类点使其梯度下降。7

8.1.1数学模型支持向量机旨在确定一条最优直线以最大化样本边界线之间距离（即分类间隔）的原则将两类样本正确分开（即两类样本的边界线距离样本分类界线尽可能远），其中，每类样本中位于相应边界线上的样本或距离样本分类界线最近的样本称为“支持向量”，其用于确定两类样本之间的距离及最优样本分类界线。8(a)多分界线(b)样本距离最大分界线(c)非样本距离最大分界线

8.1.1数学模型?9

8.1.1数学模型?10

8.1.1数学模型?11

8.1.1数学模型?12

8.1.2核函数?13

8.1.2核函数14图8-2低维特征空间向高维特征空间的非线性映射?

8.1.2核函数?15

8.1.2核函数?16

8.1.2核函数?17

8.1.2核函数?18

8.1.2核函数在选取核函数时，通常采用的方法包括：①针对问题特点利用专家知识选择核函数。②采用交叉验证的方法测试不同核函数的精度以确定最优者。③通过组合不同核函数的方式提高SVM的性能。19

8.2应用实例Scikit-learn库包含SVC、NuSVC与LinearSVC三个分类模块（SVC与NuSVC基本类似，其主要区别在于损失度量方式不同，而LinearSVC仅用于线性可分样本）与SVR、NuSVR与LinearSVR三个回归模块（其区分与SVC、NuSVC与LinearSVC类似），其导入方式如下：fromsklearn.svmimportSVCfromsklearn.svmimportSVR20

8.2应用实例函数原型如下：SVC(C=1.0,kernel=rbf,degree=3,gamma=auto,coef0=0.0,shrinking=True,probability=False,tol=0.001,cache_size=200,class_weight=None,verbose=False,max_iter=-1,decision_function_shape=ovr,random_state=None)SVR(kernel=rbf,degree=3,gamma=auto_deprecated,coef0=0.0,tol=0.001,C=1.0,epsilon=0.1,shrinking=True,cache_size=200,verbose=False,max_iter=-1)21

8.2.1参数分析在利用SVM解决具体分类或回归问题时，通过需要根据相关数据的分布形态选择合理的核函数、C与gamma值等参数并对相关结果进行可视化，进而提高分类或回归问题求解的可靠性与精度。（1）问题描述首先构造两类样本，然后利用SVM对其进行分类与可视化，具体要求如下：①绘制不同核函数、C与gamma值时相应的分类界线。②显示样本分类结果及相应的支持向量。（2）编程实现见8.2.1参数分析.py2