svm学习的对偶算法.docxVIP

SVM 学习的对偶算法 2013.3.23 最近课上要求讲一讲关于 SVM 的内容，我被分到了对偶算法这一块，就顺便把这部分知识整理了一下，并加上了一些个人的理解。至于 SVM 有多重要，曾经的研究有多么热这里就不再重提了。 一、 问题的引出 SVM 的目的非常直接：分类的间隔最大化。由此，得到了非常简洁的最优化模型（这里 仅以线性可分 SVM 为例）： min 1 || w ||2 2 w , b s.t . yi ( w ? x ? b ) ? 1, i ?1, 2,..., N 在这个问题中，x 和 y 是输入的样本点，都是已知的数据，并不是未知数。实际的自变量是w，目标函数是 w 的二次函数，所有的约束条件都是关于 w 的线性函数，这种规划问题叫做二次规划（Quadratic Programming，QP），而且由于它的可行域是一个凸集，因此它是一个凸二次规划。对于一个规划问题，我们最喜欢问的问题就是：“是不是有解？如果有解，是否能找到？”而这样的问题一般很难回答。但是，对于凸二次规划问题，可以证明，总是有唯一的最优解，即全局最优解。 然而，有解不等于容易求出来。在这个问题中，虽然目标函数是极其简单的二次函数，但是约束条件并不简单，特别是将 N 个线性约束条件加上去之后可行域边界极其复杂，直接求解几乎是不可能的。那么，我们该如何处理呢？ 带约束的优化问题，我们一般的求解策