SVM的常用多分类算法概述精要.docVIP

SVM的常用多分类算法概述 摘要：SVM方法是建立在统计学习理论基础上的机器学习方法，具有相对优良的分类性能，是一种非线性分类器。最初SVM是用以解决两类分类问题，不能直接用于多类分类，当前已经有许多算法将SVM推广到多类分类问题，其中最常用两类：OAA和OAO算法，本文主要介绍这两类常用的多分类算法。 关键词：SVM；多分类；最优化 自从90年代初 V. Vapnik提出支持向量机理论模式识别、函数逼近和概率密度估计几个主要优点是可以解决小样本情况下的机器学习问题提高泛化性能解决高维问题非线性问题可以避免神经网络结构选择和局部极小点问题……,L}∈Rd*{-1,+1}是线性可分的。则存在分类超平面wTx+b=0,x∈Rd对样本集Q中任一（xi，yi）都满足： 在空间Rd中样本x=（x1，…, xd）1中超平面的分类间隔 margin = 2/ ‖w ‖。 使分类间隔margin 最大的超平面即为最优分类超平面。寻找最优分类超平面的问题将转化为求如下一个二次规划问题: minΦ( w) =1/2‖w ‖ 满足约束条件： yi ( wTxi + b) ≥1 , i = 1 ,2 , ?, L 采用Lagrange 乘子转换为一个对偶问题,形式如下: 满足约束条件: 0≤ai，i=1,……,L ） 其中ai 为每一个样本对应的Lagrange 乘子, 根据Kuhn2Tucker 条件,这个优化的解必须满足: ai (yi [wTxi +b]-1)=0,i=1,……,L 因此多数样本对应 ai将为0 ,少部分不为0 的ai 对应的样本就是支持向量。最后得到分类判别函数为: b*是分类的域值,可以通过两类中任意一对支持向量取中值求得。根据上述易知, 对于空间Rd 中任意样本x =( x1,……,xd)T ,当|f(x)| 1 时, 表示此时x 在超平面的分类间隔内, |f(x)|越趋于0 ,则当前分类超平面对于x 的区分能力越差。而|f(x)|≥1 时x 能被超平面正确分类。对于线性不可分的问题, 可以通过引入松弛变量的方法推广最优分类超平面的概念, 更一般的方法是用满足Mercer 条件的核函数K(x1 , xj), 就是通过一个非线性映射,在一个高维特征空间中给出一个最优分类超平面。 2. SVM多分类算法 多类分类问题可以形式化地表述为：给定属于k类的m个训练样本(x1，y1)，、．．，(xm，ym)，其中x∈Rn，i=1．．．．，m，且yi∈{1，…..,k},要通过上述训练样本构造一个分类函数f,使对未知样本x进行分类时的错误概率(或者造成的损失)尽可能小。最初SVM是用以解决两类分类问题，不能直接用于多类分类，如何有效地将其推广到多类分类问题还是一个正在研究的问题。当前已经有许多算法将SVMs推广到多类分类问题，这些算法统称为“多类支持向量机”(Multi-category SupportVector Machines，M—SVMs)。它们可以大致分为两大类： (1)通过某种方式构造一系列的两类分类器并将它们组合在一起来实现多类分类； (2)将多个分类面的参数求解合并到一个最优化问题中，通过求解该最优化问题“一次性”地实现多类分类。 2.1 OAA算法（one-Agains-All decomposition） 用SVM解决多类分类问题最早的方法可能就是OAA SVMs(one-Agains-All)算法。该方法依次用一个两类sVM分类器(后面简称分类器)将每一类与其它所有类别区分开来，得到k个分类函数。分类时将未知样本分类为具有最大分类函数值的那类。 此算法是对于K类问题构造K个两类分类器，第i个SVM用第i类中的训练样本作为正的训练样本，而将其它的样本作为负的训练样本．这个算法称one-Agains-All方法．最后的输出是两类分类器输出为最大的那一类(此时，两类分类器的判决函数不用取符号函数sgn)．这种方法的优点是，只需要训练K个两类分类支持向量机，故其所得到的分类函数的个数(K个)较少，其分类速度相对较快．这种方法的第一个缺点为每个分类器的训练都是将全部的样本作为训练样本，这样需要求解K个n个变量的二次规划问题，因为每个支持向量机的训练速度随着训练样本的数量的增加急剧减慢，因此，这种方法训练时间较长．第二个缺点是如果以两类分类器的输出取符号函数，则有可能存在测试样本同时属于多类或不属于任何一类的区域， 如图1(a)的阴影部分所示．如果最后的输出是两类分类器输出为最大的那一类(此时，两类分类器的判决函数不用取