支持向量机的研究现状与进展.pdfVIP

http :// 支持向量机的研究现状与进展 马义德，齐春亮，杜鸿飞 兰州大学信息科学与工程学院 甘肃 兰州（730000） E-mail: jichl03@ 摘要：支持向量机是一种新的机器学习方法，由于其出色的学习性能，该技术已成为当前国 际机器学习界的研究热点，在模式识别、回归估计、函数逼近等领域有了广泛的应用。该文 论述了支持向量机的研究现状与进展，最后试探性地指出了今后进一步的研究方向。 关键词：支持向量机；训练；分类 1.SVM 的描述 支持向量机SVM （Support Vector Machine ）是在统计学习理论基础上发展起来的一种新 机器学习方法，又被称为支持向量网络[1]，具有理论完备、适应性强、全局优化、训练时间 短、泛化性能好等优点，已经成为目前国际、国内研究的热点[2]。 1.1 SVM 的有关概念介绍 SVM 是一种基于统计学习理论的模式识别方法，它是由 Boser,Guyon,Vapnik 在 COLT-92 上首次提出，从此迅速的发展起来，现在已经在许多领域 （生物信息学，文本和手写识别等） 都取得了成功的应用。该算法主要的目标是找到一个超平面，使得它能够尽可能多的将两类 数据点正确的分开，同时使分开的两类数据点距离分类面最远。具体的解决方法为构造一个 在约束条件下的优化问题，具体的说是一个受限二次规划问题(constrained quadratic programing),求解该问题，得到分类器。例如：已知 n 个观测样本，(x ,y ), (x ,y )…… 1 1 2 2 (x ,y )求：最优函数 y’= f(x,w)满足条件：期望风险 n n R (w) ∫L(y , f (x , w))dF (x , y ) 最小，在线性可分的情况下的最优分类面（分类间隙 Margine 最大），即使两类无错误地分 开， 分类间隙最大（图 1）。 0y f (x , w) ⎧ ( , ( , )) L y f x w ⎨ 式中 为损失函数，期望风险 R(w)要依赖联合概率 1 ( , ) ⎩y ≠ f x w F(x,y)的信息，实际问题中无法计算。一般用经验风险 R (w)代替期望风险 R(w)： emp n 1 ( ) ( , ( , )) Remp w ∑L y i f xi w n i 1 错分数 n 图 1 .最优分类面示意图 http :// 1.2 SVM 的数学表示和推导 已知n 个观测样本，(x ,y ), (x ,y )…… (x ,y ) 求解目标为最优分类面 1 1 2 2 n n wx-b=0 分类面需满足条件：经验风险最