支持向量机课件.pptx

第八章支持向量机

■支持向量机SVM(SupportVectorMachines)是由Vanpik领导的ATTBell实验室研究小组在1963年提出的一种新的非常有潜力的分类技术，SVM是一种基于统计学习理论的模式识别方法，主要应用于模式识别领域。

发展：90年代，由于统计学习理论的实现和神经

网络等较新兴的机器学习方法的研究遇到一些重要的困难，如，如何确定网络结构的问题、过学

习与欠学习问题、局部极小点问题等，使得SVM迅

速发展和完善。

■SVM优势：小样本、非线性及高维模式识别问题，函数拟合等其他机器学习问题

■运用：模式识别、回归分析、函数估计、时间序列预测等领域，文本识别、手写字体识别、人脸图像识别、基因分类、时间序列预测等。

第八章支持向量机

■8.1概述

■8.2统计学习理论

■8.3支持向量机(SVM)

■8.4核函数

■8.5SVM的算法及多类SVM

■8.6SVM的应用现状

■8.7小结

8.1概述

■基于数据的机器学习：从观测数据(样本)出发寻找数据中的模式和数据中的函数依赖规律，利用这些模式和函数依赖对未来数据或无法观测的数据进行分类、识别和预测。

■分为三种：

■一、经典的(参数)统计估计算法----参数的相关形式是已知的，训练样本用来估计参数的值。局限性:1.需要已知样本分布形式，2.假设样本数目趋于无穷大，但在实际问题中，样本数往往是有限的。

■二、人工神经网络(ANN)----利用已知样本建立非线性模型，克服了传统参数估计方法的困难。应用广泛，但是现在的神经网络技术研究理论基石不足，

有较大的经验成分，在技术上仍存在一些不易解决的问题。

■三、支持向量机(SVM),——统计学习理论。SVM是统计学习理论中最年轻的内容，也是最实用的部分，已经成为神经网络和机器学习的研究热点之一。

支持向量机的基本思想

■训练数据集非线性地映射到一个高维特征空间

■目的：把在输入空间中的线性不可分数据集映射到高维特征空间后变为是线性可分的数据集

■在特征空间建立一个具有最大隔离距离的最优分隔

超平面

存在多个分类超平面可以把两个类分离开来，但

是只有一个是最优分类超平面，它与两个类之间最近向量的距离最大。

■支持向量机的目的：找出最优的分类超平面。

■统计学习理论诞生于20世纪60～70年代，主要创立者：VladimirN.Vapnik,90年代中期发展比较成熟，受到世界机器学习界的广泛重视。

■统计学习理论：一种专门研究小样本情况下机器学习规律的理论。针对小样本统计问题建立了一套新的理论体系，该体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在现有有限信息的条件下得到最优结果。

8.2统计学习理论

■产生器(G):产生随机向量，它们是从固定但未知的概率分布函数F(x)中独立抽取的。

■训练器(S):对每个输入向量x返回一个输出值y,产生输出的根据是同样固定但未知的条件分布函数F(y|x)。

■学习机器(LM):它能够实现一定的函数集，其中入是参数集合。

■在学习过程中，学习机器LM观察数据对(x,y)。在训练之后，学习机器必须对任意输入x,使之接近训练器的响应y。

8.2.1学习问题的表示

X

■样本学习的一般模型G

LM

y

S

■给定输入x下训练器响应y与学习机器给出的响应之间的损失记作L(y,f(x,a))

8.2.2期望风险和经验风险

就是风险泛函，即预测的

期望(实际)风险。

称为经验风险。

8.3支持向量机(SVM)

■一种经典的二分类模型，基本模型定义为特征空间中最大间隔的线性分类器，其学习的优化目标便是间隔最大化，因此支持向量机本身可以转化为一个凸二次规划求解的问题。

函数间隔与几何间隔

对于二分类学习，假设数据是线性可分的

■分类学习：找到一个合适的超平面，该超平面能够将不同类别的样本分开

■类似二维平面使用ax+by+c=0来表示，超平面实际上表示的就是高维的平面，如下图所示：

wTx+b=0:x为特征向量

(x1,x2,x3..)

8.3.1线性可分支持向量机

■样本空间中任意点x到超平面(w,b)的距离写为：

■划分超平面：

wTx+b=0

为法向量。

■其中，

8.3.1线性可分支持向量机

■假设超平面能正确分类，则：

■两个异类支持向量到超平面的距离之和为：

8.3.1线性可分支持向量机

■欲找最大间隔的划分超平面，即找满足约束的参数w,b使得√最