SVM方法简介.pptVIP

SVM方法简介 SVM方法的基本思想 定义最优线性超平面，把寻找最优超平面的算法归结为求解一个最优（凸规划）问题。进而基于Mercer核展开定理，通过非线性映射 ，把样本空间映射到一个高维乃至于无穷维的特征空间（Hilbert空间），使在特征空间可以应用线性学习机的方法解决样本空间中的高度非线性分类和回归等问题。 3 非线性分类 线性分类 多类分类 二类分类 线性可分离 线性不可分离 SVM 方法是从线性可分离情况下的最优线性超平面开始，然后引入松弛变量的方法求解线性不可分离的情况，建立起一般的线性SVM模型。 对于非线性的SVM模型，由Mercer核的展开定理，引入非线性映射，把样本空间映射到一个高位甚至无穷维的空间中，利用线性SVM模型建立起特征空间中的线性SVM模型。 线性可分离情况 利用最大间隔的划分超平面称为最优超平面。 H为最优划分超平面， 下面求最大间隔 H的方程为 两条边界 的方程为 设有两个点分别位于 ， 上，即 两式相减得： 进而有 线性可分离情况 求最大间隔等价于求 的最小值。为了求导方便， 求 的最小值。 若使样本训练点分类正确且满足间隔要求，所以要满足 两式可合并，得约束条件为 线性可分离情况 已知： 求解： 目标：最优超平面　　　　　　　　　 这是一个二次凸规划问题，由于目标函数和约束条件都是凸的，根据最优化理论（Kuhn-Tuckerd定理），这一问题存在唯一全局最小解。 线性可分离情况 首先定义拉格朗日函数： 其中， 为拉格朗日系数。 再对最优化问题补充一个KKT约束条件 对 分别 ，求偏导并令偏导数为零，经化简整理可得对偶规划问题： 对于上面问题，可求出最优解 ，再求得 ，把 带入KKT条件求得 ，把它们在带入最优超平面 得出最优超平面的决策函数为 其中 为确定最优超平面的参数， 为两个向量的内积。 线性不可分离情况 对于线性不可分离的情况，我们对每一个样本 引入一个非负的变量 ，它是被错分的样本到对应边界超平面的垂直距离， 并且引入了惩罚系数C。 那么凸规划问题就变成为 利用前面的计算方法可得其对偶问题式： 可求得最优超平面的决策函数依然为 非线性分类的SVM方法 非线性SVM的思想就是通过非线性映射 把样本空间映射到特征空间。使原来非线性问题在特征空间中变为线性可解。然后在特征空间利用线性SVM方法。 非线性映射为 ，所以对于特征空间有凸规划问题为 对偶问题式为 最后的决策函数为 Mercer核和Mercer定理 对称正定的连续核称为Mercer核。Mercer核函数 可以展开成一致收敛的函数项级数 其中， ， 为 的特征值和特征函数。 所以Mercer核可以做如下非线性映射 所以Mercer核就可以表示成内积的形式 从而可以把特征空间中的点积用核的方法表示 对偶问题式为 最后的决策函数为 这就是非线性SVM的最终分类决策函数。 只需求出支持向量 和其支持的“强度”和阈值 ，通过核函数的计算，即可得到原来样本空间的非线性划分输出值。