SVM的基本原理.doc

SVM的SMO算法实现 第  PAGE 17 页 共  NUMPAGES 17 页 SVM的SMO算法实现 自研0 谭李（006334） 吴翔（006333） 摘要 支持向量机（Support Vector Machine）是一种新近出现的解决模式识别问题的有效工具。它的数学模型可以归结为一个有约束的二次规划问题。如何快速准确地解这个二次规划，是SVM推广应用中的一个重要环节。我们尝试了数种可能的方法，用程序实现了其中最有效的一种——SMO算法（Sequential Minimal Optimization algorithm），并用块算法的思想（Chunking）对其作出了改进。本文将先给出待解决的数学模型，介绍我们所做的一些尝试，然后着重讨论SMO算法的原理、程序实现及其独特优势，最后阐述我们自己的一些新思想，主要是经过改进的Chunking SMO算法，并在附录中介绍SVM的基本原理。 SVM的数学模型 这里简要介绍支持向量机（SVM）数学模型的引出过程，关于SVM的详细介绍将在附录中给出。 支持向量机的原理是用分类超平面将空间中两类样本点正确分离，并取得最大边缘（正样本与负样本到超平面的最小距离）这样，原问题为一个有约束非线性规划问题： 范数最小的满足约束的w就是最优分类超平面的法向量。目标函数是严格上凹的二次型，约束函数是下凹的，这是一个严格凸规划