序列最小最优化算法smo算法-bitjoy.pdfVIP

序列最小最优化算法（SMO 算法） SMO 算法是要解如下凸二次规划的对偶问题： min 1 ∑ ∑ ( , ) − ∑ (1) 2 =1 =1 =1 s. t. ∑ = 0 (2) =1 0 ≤ ≤ , = 1,2, …, N (3) 在这个问题中，变量是拉格朗日乘子，一个变量 对应于一个样本点（ ， ）；变量的总 数等于训练样本容量N。 SMO 算法是一种启发式算法，其基本思路是：如果所有变量的解都满足此最优化问题 的KKT 条件（Karush-Kuhn-Tucker conditions ），那么这个最优化问题的解就得到了。因为KKT 条件是该最优化问题的充分必要条件。否则，选择两个变量，固定其他变量，针对这两个变 量构建一个二次规划问题。这个二次规划问题关于这两个变量的解应该更接近原始二次规划 问题的解，因为这会使得原始二次规划问题的目标函数值变得更小。重要的是，这时子问题 可以通过解析方法求解，这样就可以大大提高整个算法的计算速度。子问题有两个变量，一 个是违反 KKT 条件最严重的那一个，另一个由约束条件自动确定。如此，SMO 算法将原问 题不断分解为子问题并对子问题求解，进而达到求解原问题的目的。 注意，子问题的两个变量中只有一个是自由变量，假设1 ，2 为两个变量，3 ，4 ，…， 固定，那么由等式约束（2 ）可知 + = − ∑ 1 2 1 =3 如果2 确定，那么1 也随之确定，所以子问题中同时更新两个变量。 整个SMO 算法包括两个部分： 求解两个变量二次规划的解析方法； 选择变量的启发式方法。 1. 两个变量二次规划的求解方法 不失一般性，假设选择的两个变量是1 ，2 ，其他变量 （i=3，4 ，…，N）是固定的， 于是SMO 的最优化问题(1)~(3)的子问题可以写成： min ( , ) = 1 2 + 1 2 + 1,2 1 2 2 11 1 2 22 2 1 2 12 1 2 ( ) ∑ ∑ − + + + (4) 1 2 1 1 =3 1 2 2 =3 2 s. t. + = − ∑ = ζ (5) 1 1 2 2 =3 0 ≤ ≤ , = 1,2 (6) 其中， = ( , ) ，i，j = 1 ，2，…，N，ζ是常数，目标函数式(4)中省略了不含 ， 的常数项。 1 2 为了求解两个变量的二次规划问题(4)~(6)，首先分析约束条件，然后在此约束条件下求 极小。