第七章支持向量机第三次课分析.ppt

本章内容 7.1 引言 7.2 统计学习理论的基本理论 7.3 支持向量机 7.4 核函数 SVM对于线性分类的问题描述为: 对n维空间的m个数据样本(x1, y1), (x2, y2)…… (xm, ym), 存在并求解n维空间内满足条件: 经验风险最小(错分最少) 泛化能力最大(空白最大) 的最优分类面 f(x)=wTx-b=0 “允许有一定的错分”的分类问题通过引入松弛变量?i, 可表示为如下优化问题: 7.3.3 非线性可分的SVM 非线性分类问题一直是分类领域的困难问题, 主要的困难在于难于构造非线性的分类判别函数。 实际上, 非线性可分的数据样本有可能在适当的函数变换下在高维空间有可能转化为线性可分。 因此对非线性问题, 可以把样本x映射到某个高维特征空间H, 并在H中使用线性分类器。 设实函数 ?(x): Rn?H 为向量x对应的特征空间H中的特征向量。 将特征向量?(x)代替输入向量x, 则可以得到相应的分类函数与非线性分类的广义最优分类的目标函数 基于核函数K(xi, xj), 上述非线性SVM的分类函数与广义最优分类的目标函数分别为 7.4 核函数 对非线性问题, SVM首先通过用内积函数定义的非线性变换将输入空间变换到一个高维空间, 在这个空间中求广义最优分类面。根据不同的内积核函数将形成不同的算法。 SVM方法选取的核函数K(xi, xj)=?T(xi)?(xj) 须满足如下条件: 1 对称性 K(xi, xj)=K(xj, xi) Cauchy-Schwarz不等式 K2(xi, xj)?K(xi, xi)K(xj, xj) 满足Mercer定理 常用的核函数有 线性内核函数 K(x, xi)=xTxi 线性分类器 多项式核函数 K(x, xi)=(xTxi+1)d d 阶多项式分类器 在应用核函数法时, 一般不需要求出核函数K(xi, xj)所对应的特征变换函数?(x)。 实际上, 对许多实用的核函数, 也难于求出对应的特征函数。 例如：对2维的多项式核函数 K(x, xi)=(xTxi+1)2 , 可证明对应的特征变换函数?(x)为 核函数K(xi, xj)的实质可以认为是为对输入的样本进行 相似性的度量。 第7章　支持向量机 第7章　支持向量机 * SVM分类问题大致有三种： 线性可分问题 近似线性可分问题 线性不可分问题 复习 7.3.1 线性可分的SVM 支持向量是两类集合边界上的点。 所有非支持向量的数据都可以从训练数据集中去掉而不影响问题解的结果。 对于新的数据点 x, 要对其进行分类只需要计算 f(x) = sign (wTx + b)其中w和b是支持向量对应的参数。 分界面与最近邻的样本的距离为r=1/||w|| 使‖w‖2最小就变成了求下面的函数解: 最小化： 使满足： 利用Lagrange优化方法可以把上面问题转化为其对偶问题: 使满足： 其中, ai为每个样本对应的Lagrange乘子。 这是一个在等式约束下的凸二次优化问题, 存在唯一解, 且解中只有一部分ai不为零, 对应的样本就是支持向量。 α6=1.4 Class 1 Class 2 α1=0.8 α2=0 α3=0 α4=0 α5=0 α7=0 α8=0.6 α9=0 α10=0 此时最优分类函数为 上式求和计算取ai中不为零的值(即只对支持向量进行), b可以利用任一支持向量满足 中的等号求得。 7.3.2 近似线性可分的SVM 允许有一定范围内的“错分”, 又有较大分界区域的最优分类面——广义最优分类面。 Class 1 Class 2 分类面 Class 1 Class 2 分类面 实际上, 广义最优分类面是在分类准确性与泛化特性上寻求一个平衡点。 因此, SVM的广义最优分类问题可表示为如下优化问题: 相应的约束条件为 C越大, 表示分类越严格, 允许错分的样本受到的限制越大, 错分的样本数少。 因此, SVM广义最优分类面的优化目标函数可变换为 相应的约束条件为 f( ) 　　非线性SVM问题的基本思想是: 通过非线性变换将非线性问题转换为某个高维空间中的线性问题, 在变换空间求最优分类面。 一般地, 新空间维数要高于原空间维数。 相应的函数优化的约束条件仍然为 因此, 非线性分类的SVM方法最后集中到核函数的选取。选取适宜核函数是成功进行非线性分类的关键。 核函数K(xi,