支持向量机简介.ppt

支持向量机简介 传统模式识别的问题 经验风险最小不等于期望风险最小，不能保证分类器的推广能力. 经验风险只有在样本数无穷大趋近于期望风险，需要非常多的样本才能保证分类器的性能。 需要找到经验风险最小和推广能力最大的平衡点。 最优分类面 SVM问题的数学表示 已知：n个观测样本，(x1,y1), (x2,y2)…… (xn,yn) 目标：最优分类面 wx-b=0 满足条件：是分类面 经验风险最小（错分最少）? 推广能力最大（空白最大） 分类面方程满足条件 对(xi,yi) 分类面方程g(x)=wx-b应满足 即 空白 空白长度 =2x样本点到直线的距离 =2x SVM问题的数学表示 已知：n个观测样本，(x1,y1), (x2,y2)…… (xn,yn) 求解： 目标：最优分类面 wx-b=0 广义最优分类面 分类面条件的放宽 经验风险最小 空白最大（不变） SVM的数学表示 已知：n个观测样本，(x1,y1), (x2,y2)…… (xn,yn) 求解： 目标：最优分类面 wx-b=0 SVM问题求解 将上述问题表示成拉格朗日乘子式 Kuhn-Tucker条件 得到 只要确定?，便可解出w,b 将上述条件代入L中 新的优化问题 (Quadratic Programing) SVM问题求解 已知：n个观测样本，(x1,y1), (x2,y2)…… (xn,yn) 求解 根据?，求得w,b ，得到最优分类面 非线性分类面 支持向量机 如果用内积K(x,x′)代替最优分类面中的点积,就相当于把原特征空间变换到了某一新的特征空间,此时优化函数变为: W(a)= ai - aiajyiyjK(xi·xj) 相应的判别函数也应变为: 支持向量机示意图 通常的内核函数 线性内核 径向基函数内核 多项式内核 S形内核 SVM方法的特点 SVM 的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了“维数灾难”。 ?少数支持向量决定了最终结果,这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单,而且具有较好的“鲁棒”性。这种“鲁棒”性主要体现在: ①增、删非支持向量样本对模型没有影响; ②支持向量样本集具有一定的鲁棒性; ③有些成功的应用中,SVM 方法对核的选取不敏感。 SVM方法的特点 注意：SVM是基于两分类问题提出的，对于多分类问题，需要构造多分类器，目前常用的方法有1-1，1-r，树形分类器等等。 多分类器的构造 球形支持向量机 球形支持向量机算法是在高维的特征空间中，对每一个模式类别构造一个覆盖其训练样本的具有最小体积的超球体，以实现对训练样本空间的划分。 球形支持向量机算法 允许有点在球体外的球形支持向量机算法 运用对偶规划求解 基于球形支持向量机的多分类器构造 基于相对距离的球形支持向量机多分类识别算法步骤： （1）对每一类训练样本，分别构造对应的最小超球体，运用式（1）计算各类超球体的半径； （2）计算待测样本到各类超球体球心的相对距 离 ； （3）按照相对距离的大小进行决策分类，将未知样本分到相对距离最小的一类中去。 支持向量机 * f(x)=sgn{ ai*yik(xi·x)+b*} 概括地说，支持向量机就是首先通过用内积函数定义的非线性变换将输入空间变换到一个高维空间，在这个空间中求最优分类面。 Svm分类函数形式上类似于一个神经网络，输出是中间节点的线性组合，每个中间节点对应一个输入样本与一个支持向量的内积，因此也被叫做支持向量网络。 球心 球半径 （1） （2） 非线性情况 *