支持向量机原理.docxVIP

第 3 章 支持向量机基础 By Dean 支持向量机（Support Vector Machies）是由 Vapnik 等人于 1995 年提出来 的。之后随着统计理论的发展，支持向量机也逐渐受到了各领域研究者的关注， 在很短的时间就得到很广泛的应用。支持向量机是建立在统计学习理论的 VC 维理论和结构风险最小化原理基础上的，利用有限的样本所提供的信息对模型 的复杂性和学习能力两者进行了寻求最佳的折衷，以获得最好的泛化能力。 SVM 的基本思想是把训练数据非线性的映射到一个更高维的特征空间（Hilbert 空间）中，在这个高维的特征空间中寻找到一个超平面使得正例和反例两者间 的隔离边缘被最大化。SVM 的出现有效的解决了传统的神经网络结果选择问题、 局部极小值、过拟合等问题。并且在小样本、非线性、数据高维等机器学习问 题中表现出很多令人注目的性质，被广泛地应用在模式识别，数据挖掘等领域 (张学工 2000；崔伟东 2001)。支持向量机可以用于分类和回归问题，本章着 重介绍分类相关的知识。 3.1 SVM 的基本思想 3.1.1 最优分类面 SVM 是由线性可分情况的最优分类面发展而来的，用于两类问题的分类。 下面用一个二维两类问题来说明 SVM 基本思想(白鹏 等，2008)。 ????????, i=1,…N??1212, i=1,…N??12[(?? ?????? ?? ?? ?? ?? , i=1,…N ?? 1 2 1 2 , i=1,…N ?? 1 2 [ ( ?? ?? ?? ?? ≥ 0 ?? ?? ?? ?? ?? [ ] ( ) ?? ?? ?? 图 3.1 最优超平面示意图 C1 和 C2 代表两类数据样本，各样本在二维中显示如图 3.1，  图中的直线 P0,P1 就是分类函数。如果一个线性函数就完全可以把两类所有样本分开，那 么就称这些数据是线性可分的；否则称非线性可分。假设两类线性可分的训练 数据样本 {( ?? 1,??1) , ( ?? 2,??2) ,…( ?? ?? ,?? )} , ?? ?? ∈ ?? (d 代表样本 ??的长度), ?? ∈ { + 1, ? 1} , ?? = 1,2,…,?? . 其线性判别函数的一般表达式是??(??) = ?? ? ?? + ??, 该函数对应的分类面方程是： ?? ? ?? + ?? = 0 (3-1) 线性判别函数的值一般是连续的实数，而分类问题需要输出的是离散值。例如 利用数值-1 表示类别 C1，而用数值+1 表示类别 C2.所有的样本都只能用数值- 1 和+1 表示。这时我们可以通过设置一个阀值，通过判断判别函数的值是大于 或者小于这个阀值来判断属于某一类。若我们取这个阀值为 0，即当 f(x)≤0 时， 判别样本为类别 C1(即-1)；当 f(x)≥0 时，判别样本为类别 C2(即+1). 现在将判别函数进行归一化，使两类所有样本都满足|??(??)| ≥ 1，这时离分类面 近的样本都有|??(??)| = 1。若要对所有样本正确分类需满足， ?? [(?? ? ??) + ??] ? 1 ≥ 0  (3-2) 这时分类间隔为2 ‖??‖. 寻求最优的分类面即使得分类间隔最大化。可以发现间 ‖??‖ 隔最大等价于2 最小。 因此最优化分类面问题可以表示成如下的约束优化问题，如下： Min Φ(??) = ‖??‖ 2  (3-3) 约束条件为： ?? [(?? ? ??) + ??] ? 1 ≥ 0 定义如下 Lagrange 函数:  (3-4) ??(??,??,??) = ‖??‖ ? ∑ 2 ?? ?? ?? ?? = 1 ?? ? ?? + ?? ) ? 1]  (3-5) 式中， ?? 为 Lagrange 乘子。为了求得函数式(3-5)的最小值，我们对 ??,??,?? 分别求导有： { ??? ?? = 0 ? ?? = ∑ ?? ?? ?? ??? ?? = 1 ??? ?? = 0 ? ∑ ?? ?? = 0 ??? ?? = 1 ??? = 0 ? ?? ?? ?? ? ?? + ?? ? 1 ???  = 0  (3-6) 由式(3-6)和(3-2)可将上述的最优化分类面的求解问题转化为一个凸二次规划 寻优的对偶问题，如下： ???? ?? ?? ?? ?? ?????? ???????? ?? ??????????? ,?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ? ?? ? ?? ?? ?? ?? ? ? ? ?? ?? ,?? ?? ,?? 0,?? =? 1,?? = 1 ?? = 0 ?? ?? ??