《机器学习》课件 第6章　支持向量机.pdf

统计学习理论

经验风险最小化

期望风险

对于一个已训练的机器，测试错误的期望风险：

由于P(x,y)为未知，因此法直接计算。对于给定的训练集，则可以计算经验

风险。

经验风险最小化

经验风险

对于给定的训练集，经验风险为

对于一个给定的训练集，是确定的。通常将上式中的称为损失函数。

VC维

对学习系统来说，训练集误差与测试集误差之间的差别是训练集规模的函数，该

函数可以由学习系统的VC维表征。

结构风险最小化

结构风险

实现结构风险最小化归纳法可以有两种思路：

一是在每个子集中求最小经验风险，选择使最小经验风险和置信

范围之和最小的子集。

这种方法比较费时，当子集数目很大甚至无穷时不可行。

二是设计函数集的某种结构使得在每个子集中都能取得最小的经

验风险（例如，使训练误差为0），然后只需选择适当的子集使置

结构风险最小化

信范围最小，则这个子集中使经验风险最小的函数就是最优函数。

TheEnd

支持向量机基本原理

支持向量机（supportvectormachine，SVM）

基本原理基于统计学习理论的方法二分类

H为线性超平面，H1、H2分别为过各类中离超平面最近的样本且平行于超平面

分类间隔（margin）：|H1H2|。

最优超平面：将两类数据正确分开，并且使分类间隔最大。

定义最优超平面，并把寻找最优超平面归结为求解一个凸规划问题

Ø支持向量机能较好地解决小样本、非线性和高维数据、局部极小点等实际问题。

支持向量机（supportvectormachine，SVM）

基本原理

能将两类样本正确分开的超平面有无数多个。如何求得最优超平面？

支持向量机（supportvectormachine，SVM）

超平面

线性超平面非线性超平面

线性可分情况线性不可分情况线性不可分情况

支持向量机

数据线性可分

•线性最优超平面线性支持向量机

数据线性不可分

•非线性最优超平面非线性支持向量机

核方法

升维

基于Mercer核展开定理，通过用内积函数定义的非线性变换将输入空间

线性化

映射到高维特征空间（Hilbert空间），在这个高维特征空间中寻找输入

变量和输出变量之间的关系。

TheEnd

线性支持向量机分类器

线性支持向量机分类器

线性可分情况

,∈,∈−⋯,

•设线性可分的训练样本