svm的基本原理-read.docVIP

SVM的SMO算法实现 自研0 谭李（006334） 吴翔（006333） 摘要 支持向量机（Support Vector Machine）是一种新近出现的解决模式识别问题的有效工具。它的数学模型可以归结为一个有约束的二次规划问题。如何快速准确地解这个二次规划，是SVM推广应用中的一个重要环节。我们尝试了数种可能的方法，用程序实现了其中最有效的一种——SMO算法（Sequential Minimal Optimization algorithm），并用块算法的思想（Chunking）对其作出了改进。本文将先给出待解决的数学模型，介绍我们所做的一些尝试，然后着重讨论SMO算法的原理、程序实现及其独特优势，最后阐述我们自己的一些新思想，主要是经过改进的Chunking SMO算法，并在附录中介绍SVM的基本原理。 SVM的数学模型 这里简要介绍支持向量机（SVM）数学模型的引出过程，关于SVM的详细介绍将在附录中给出。 支持向量机的原理是用分类超平面将空间中两类样本点正确分离，并取得最大边缘（正样本与负样本到超平面的最小距离）这样，原问题为一个有约束非线性规划问题： 范数最小的满足约束的w就是最优分类超平面的法向量。目标函数是严格上凹的二次型，约束函数是下凹的，这是一个严格凸规划。按照最优化理论中凸二次规划的解法，我们把它转化为Wolfe对偶问题来求解： 其中αi正是样本点xi的Lagrange乘子。Kuhn-Tunker条件定理指出，无效约束所对应的Lagrange乘子一定为0，在这里的物理意义也就是说非支持向量xi（对应着原问题中的约束 yi(w’xi＋b)－10 ）的Lagrange乘子一定为0。这样分类规则就仅由恰好在超平面边缘上的少数支持向量（对应着约束yi(w’xi＋b)－1＝0）决定，而与其它样本无关。“支持向量机”这一名称由此而来。 对于非线形情况，只需将对偶问题中的点积用卷积核函数K(xi,xj)代替。 对于样本点不可分的情况，构造软边缘分类面，最终得到的Wolfe对偶问题与原来相似，只是α多了一个上限约束。这个上限C代表着对错分样本的惩罚力度，在边缘之内的样本对分类面的构造所起的作用是有限制的，这就是所谓“软边缘”的含义。 最后，由于求最大值可以转化为取负求最小值，这一数学模型最终表达为： 其中H是一个半正定的对称阵[yiyjK(xi,xj)]li,j=1（线性的情况也就是(XY)T(XY), X=[x1,x2,…,xl], Y=diag(y1,y2,…,yl), ） α=[α1, α2,…,αl]T 这个对偶问题仍是一个有约束的二次规划，它的Kuhn-Tucker条件（在SVM的文献中多称为Kaush-Kuhn-Tucker条件）也可等价地表示为 其中ui就是分类面（在非线性下不一定是超平面）函数作用在xi上的输出： 这一KKT条件在我们的问题中有其具体的物理意义：第一种情况是说xi是非支持向量，在分类面边缘以外，其Lagrange乘子为0，对分类面的构造没有影响；第二种情况是说xi是正好在分类面上的支持向量，对应着非零的Lagrange乘子；第三种情况是说xi在分类面边缘以内甚至被错分，其Lagrange乘子受到上限的限制而为C。 关于二次规划算法的探索 Wolfe对偶问题比原始问题易于处理，它把问题转化成了在非负象限内对以样本的Lagrange乘子为变量的半正定的二次函数Wolfe进行优化，并服从一个的等式约束。但由于问题规模比较大，再加上目标函数的二次型已不是正定的，而且约束个数较多，又是等式约束和不等式约束的混合问题，在样本点不可分时还要加以上限的约束。这种复杂局面使得很多高效的算法对此束手无策，SVM方法至今未能得到广泛的应用，难以找到快速的算法不能不说是一个重要的原因。 二次规划是一种常见的优化问题，关于二次规划有一套比较成熟的理论。最初我们试图把这个问题作为一个纯数学问题来对待，从寻优理论中找到一种能解决我们的问题的数值方法，但是可以说是以失败告终。不过，我们还是了解到不少二次规划的一般方法，并从中总结了一些经验。 在二次规划中，条件极值问题的通常解法有罚函数法和单纯形法。 罚函数法在以往曾被作为一种标准的SVM算法。其基本思想是将解不满足约束条件的程度作为惩罚项加在目标函数中，将条件极值问题转化为无条件极值问题来处理，求得其解后增大惩罚力度，将上一步的结果作为下次寻优的起始迭代点，再求解无条件极值问题，直到解满足约束为止。其中的无约束极值问题可以用共轭梯度法求解。典型的共轭梯度法针对的是对称正定的二次规划问题，进行n步迭代一定得到最优解。对于半正定的问题，共轭梯度法也会是可行的，但n步迭代不能结束，算法的停止条件应设为梯度范数在允许误差范围内（也就是说目标函数没有很大下降余地了