SVM——详细讲解SMO算法优化两个变量以及变量的选择 .pdf

SVM——详细讲解SMO算法优化两个变量以及变量的选择

支持向量机（SVM）是一种二分类模型，它在分类超平面的构建过程

中，通过优化二次规划问题求解得到最优的超平面。而序列最小最优化

（SequentialMinimalOptimization，SMO）算法则是一种用于求解SVM

二次规划问题的简化算法。

在SVM中，分类超平面可以表示为w*x+b=0，其中w为法向量，b为

截距，x为输入样本。SVM的目标是找到具有最大边界的超平面，使得训

练样本与超平面的距离最大化。优化SVM的问题可以转化为求解以下二次

规划问题：

\begin{align*}

\min\limits_{\alpha}\quad\frac{1}{2}

\sum_{i=1}^{N}{\sum_{j=1}^{N}{\alpha_i\alpha_jy_iy_jK(x_i,

x_j)}}-\sum_{i=1}^{N}{\alpha_i}\\

s.t.\quad\sum_{i=1}^{N}{\alpha_iy_i}=0\\

\quad0\leq\alpha_i\leqC,\quadi=1,2,...,N

\end{align*}

\]

其中，N是训练样本数量，C是惩罚参数，K(x_i,x_j)是核函数。

SMO算法通过迭代优化变量alpha_i和alpha_j，来逐渐优化整个二

次规划问题。SMO算法的核心步骤有两个：选择变量和优化变量。

1.变量的选择：

在每次迭代中，SMO算法通过两个嵌套循环选择优化变量alpha_i和

alpha_j。

首先，外层循环选择第一个变量alpha_i，通过遍历所有训练样本点，

选择违反KKT条件的样本点。KKT条件是SVM最优解必须满足的条件，对

于正样本来说，条件是alpha_i=0，对于负样本来说，条件是alpha_i=C。

如果选择到了违反KKT条件的alpha_i，就进入内层循环。

内层循环选择第二个变量alpha_j。根据alpha_i的选择，我们有目

标函数的一个约束条件：\(\alpha_iy_i+\alpha_jy_j=

\text{Constant}\)。为了保证alpha_i和alpha_j满足这个约束条件，

我们可以选择任意一个满足约束条件的alpha_j进行优化。在SMO算法中，

我们选择alpha_j的方法是基于最大步长的启发式方法，即选择使得目标

函数下降最快的变量。

2.变量的优化：

在选择了alpha_i和alpha_j之后，我们固定其他变量，优化目标函

数关于alpha_i和alpha_j的取值。通过求解子问题，可以得到alpha_i

和alpha_j的最优解。由于目标函数中存在约束条件，我们需要根据约束

条件对最优解进行剪辑。剪辑后的最优解会在变量空间中进行调整，并更

新相关参数w和b。

通过反复选择变量和优化变量，SMO算法可以逐渐将所有变量优化到

最优解。直到所有变量都满足KKT条件，或达到预定迭代次数或精度要求。

最后，得到的最优解就可以用来构建分类超平面，进行新样本的分类。

总结起来，SMO算法通过不断选择和优化变量的方式，迭代求解SVM

的二次规划问题。通过只优化少量的变量，而不是全部变量，SMO算法有

效地降低了求解SVM问题的复杂度，提高了算法的效率和可扩展性。