支持向量机算法设计与分析46章.docVIP

第四章 分解算法 在第二章和第三章中，我们把基于支持向量机的分类问题和回归问题归结为一个带有线性约束的凸二次规划问题。在这一章中，我们将研究这些优化问题的求解。 4.1无约束问题的提法 求解约束问题的途径之一，是把它转化为一个或一系列无约束问题。对于解分类问题的支持向量机凸二次规划问题，我们用Lee和Mangasarian所提出的方法给予说明[1]。至于回归问题，读者可以参考文献[2]。 4.1.1非光滑无约束问题 考虑线性支持向量机的原始优化问题 ， (4-1) s.t. ， (4-2) (4-3) 这个最优化问题不是严格的凸二次规划问题。为了求解方便，Lee和Mangasarian把它修改为严格的凸二次规划问题[1] (4-4) s.t. ， (4-5) (4-6) 由约束条件(4-5)-(4-6)可知：问题关于的解应满足 ， (4-7) 其中函数是单变量函数 (4-8) 把(4-7)代入(4-4)可得到无约束最优化问题 ， (4-9) 上述问题是严格凸的无约束最优化问题，它有唯一的最优解。但函数是不可微的，所以要用非光滑的无约束最优化方法求解。 光滑无约束问题 由于无约束最优化问题是非光滑的，所以不能使用通常的最优化问题解法求解，因为那里总要求目标函数的梯度和Hessen矩阵等存在。为此，Lee和Mangasarian引入非光滑函数的近似函数[1] (4-10) 其中是参数。显然函数是光滑的，可以证明：当时，函数收敛于。这样无约束最优化问题就近似于最优化问题 ， (4-11) 可以期望，当充分大时，光滑无约束问题的解会近似于非光滑无约束问题的解。因而也会近似于原始问题的解。 带有核的光滑无约束问题 在广义支持向量机中，Mangasarian[3]考虑下述的非线性优化问题 ， (4-12) s.t. ， (4-13) (4-14) 其中是一个对称正定矩阵， (4-15) 和线性情况一样，Lee和Mangasarian[1]把问题(4-12)-(2-14)转化为下述的严格凸二次规划 ， (4-16) s.t. (4-17) (4-18) 相应于该问题的光滑无约束最优化问题为 (4-19) 对于光滑的无约束问题，一些经典的算法，如：Newton-Armijo算法、BFGS算法（变度量法）和，只对工作集中的样本进行迭代，而另一个集合中的样本所对应的拉格朗日乘子保持不变。然后，将集合中的一部分“情况最糟糕的样本点”与工作集中的一部分样本点进行交换。目前，主要的分解算法有以下几种： (1)选块算法（Chunking）：它是由Boser等人首先提出的一种解决支持向量机训练存储空间问题的方法[6]。具体步骤为：首先取训练样本集合中的任意一个子集作为工作集；然后对求解最优化问题，得到支持向量并构成一个分类判别函数，并用该判别函数测试集合中的样本，将其中不满足最优化条件者按其偏离最优的程度顺序排列为侯补工作集，若中的所有样本均满足最优化条件或为空集，则程序结束，否则继续；接下来剔除中的非支持向量样本，添加中排列在前面的个样本构成新的工作集。循环往复，直到程序结束。选块算法使得核矩阵大小由降低为（是支持向量得的个数），从而大大降低了对内存的需求，在支持向量很少的情况时能获得很好的结果，当很大时，对内存的需求仍很大，难以求解。 (2)Osuna的分解算法：该算法是由Osuna等人提出的[7]，与Chunking算法最大的不同，也是它最大的改进之处：它将求解支持向量机的QP问题分解为一系列较小的QP问题，并且工作集的大小保持不变，对内存的需求从与呈平方关系变为线性关系，因而可以克服Chunking算法中存在的问题。由于工作集是固定大小的，所以Osuna算法的速度与的选择和的大小有着密切的关系：如果较小，则每次优化的样本少，导致算法收敛很慢；反之，子QP问题的解决仍需要花费较多的内存和较长的时间