[工学]SVM.ppt

SVM（向量机） SVM概念 线性分类器 理论推导 核函数（Kernel Function） 实际情况的问题 多核学习 SVM概念 支持向量机，英文为Support Vector Machine，简称SV机（简称SVM）。它是一种监督式学习的方法，它广泛的应用于统计分类以及回归分析中。支持向量机属于一般化线性分类器。他们也可以认为是提克洛夫规范化（Tikhonov Regularization）方法的一个特例。这族分类器的特点是他们能够同时最小化经验误差与最大化几何边缘区。因此支持向量机也被称为最大边缘区分类器。 SVM概念 支持向量机采用的是一种线性分类（Linear Classifications）的方法，目的在于寻找一个可以使得所有训练用而已经分类好的资料在特征空间(Feature Space)中可以将类别被清楚地分开的超平面(Hyperplane). 线性分类器 线性分类器 线性分类器 线性分类器 中间的直线就是一个分类函数，它可以将两类样本完全分开。一般的，如果一个线性函数能够将样本完全正确的分开，就称这些数据是线性可分的，否则称为非线性可分的。 理论推导 {xi , yi },i=1,…,n 且xi∈Rd，yi ∈{-1,+1} 其中{xi}称为特征向量而{yi }分类标记。 现在我们定义另外两个超平面，他们都平行于原本的分隔超平面。我们将这两个超平面称为支持超平面（Support Hyperplane），因为这两个平面包含的 资料向量支持这个平面。 理论推导 理论推导 理论推导 首先写下这两个支持超平面的方程式： wTx =b+δ wTx =b –δ 为了解决这个问题我们令δ=1。 现在可以计算出第一个方程到分隔超平面距离为 1/||w|| 同理第二个方程也是如此，所以可以得出分隔的间距为2/|| w|| 理论推导 同理我们根据超平面定义可以写出一下两个限制条件： wTx -b≤-1 所有yi =-1的情况 wTx +b≥+1 所有yi =+1的情况 所以我们可以把两个式子写成一下面一个方程式： yi (wTx +b)-1≥0 理论推导 这样我们得出了支持向量机的原始问题的公式 ： 理论推导 解这样一个问题我们要用到求最优解的方法，我们将它使用拉格朗日乘子法进行一个变形把它变成对偶问题： 理论推导 分别对w和b求导可以得到以下方程： 理论推导 将得到的代回原来的L里面可以得到 核函数（Kernel Function） 我们以前讨论的问题都是可以线性分隔的问题，但是实际问题中可以遇到很多问题是超平面并不是一个线性的情况，但是这时候我们因为线性分隔很多的优势希望可以用到线性分类器，所以这时候我们就必须将这个非线性的问题转化为线性问题，因此引入了核函数。 核函数（Kernel Function） 一个多项式如： F(x)=c0+c1x+c2x2 可以表示为两个向量的点乘， 这两个向量分别为(1,x,x2)和（c0,c1,c2）。 这样G(x)=x,c与F(x)相同。 核函数（Kernel Function） 回想我们的线性分类器，我们可以认为形式如下 那现在这个高维里的线性函数可以用一个低维里的函数代替： 核函数（Kernel Function） 这就是说，尽管给的问题是线性不可分的，但是我们就硬当它是线性问题来求解，只不过求解过程中，凡是要求内积的时候就用你选定的核函数来算。这样求出来的α再和你选定的核函数一组合，就得到分类器啦！ 核函数（Kernel Function） 目前研究最多的核函数主要有3类: 多项式核函数: 核函数（Kernel Function） 2) 径向基核函数(RBF) : 3) Sigmoid 函数: 式中q ,σ, c 等参数都是实常数。在实际运用中,通常要根据问题的具体情况选择合适的核函数以及相应的参数。 核函数（Kernel Function） 虽然核函数有很多种形式但是，在实际问题中要具体情况具体分析，要依照具体情况选择合适的核函数，要不然建立出来的分类器并不一定会有很好的效果。 实际情况的问题 因为我们这里的α的确定是通过一系列的训练数据，而这些训练数据有的时候可能会因为某些人为的因素而产生某些错误，这些错误会对分类器产生很大的影响。所以我们在设计分类器的时候也必须考虑这些结果进去。 实际应用时的问题 从图中可以看出有一个点产生了错误这时的分类器就有可能产生