[支持向量机课件.docVIP

支持向量机（SVM） 最优分类面 SVM 是从线性可分情况下的最优分类面发展而来的, 基本思想可用图中的 两维情况说明. 所谓最优分类线就是要求分类线不但能将两类正确分开(训练错误率为0),而且使分类间隔最大，推广到高维空间，最优分类线就变为最优分类面。 设线性可分的样本集，d维空间中的线性判别函数：，分类面方程为 我们可以对它进行归一化，使得所有样本都满足，即使离分类面最近的样本满足，这样分类间隔就等于。因此要求分类间隔最大，就是要求（或）最小。要求分类线对所有样本正确分类时，对于任意学习样本，其分布必然在直线之上或直线之下。即有 将以上两式合并，有 就是要求满足 ， 因此，满足上述公式且使最小的分类面就是最优分类面。过两类样本中离分类面最近的点且平行于最优分类面的超平面，上的训练样本，就是使上式等号成立的那些样本，它们叫做支持向量。因为它们支撑了最优分类面。 下面看如何求解最优分类面，由上面的讨论，最优分类面问题可以表示成如下的约束问题，即在条件（1）的约束下，求函数： （2） 的最小值，这里目标函数中的没有其他意义，只是为了下一步导出求解方法时方便。由此得到两类分类机算法： 给定学习样本集，、。表示属于类，表示属于类； 构造并求解关于变量和的优化问题（目标函数加上平方） (3) 求得最优解和； 构造分类函数 (4) 对于任意的未知模式，可以由上式判断其所属类别： (5) 从以上分析过程可知，对于任意学习样本，有 (6) 学习样本是实际模式的抽样或特例，工作中的实际模式可能超过学习样本的分布范围。如果能够预测到实际模式的分布，并且根据其分布确定分类函数，我们称之为“预测最优”。但实际上是很难做到的，无论我们得到多大规模的样本都总是实际问题的抽样或特例，以这些数据所做的任何估计都只是以局部推测全局。以上得到的“支持向量机”取两类样本之间最大边带的中心为分类函数，显然是对现有学习样本的最佳分类。尽管这样的分类函数未必是“预测最优”，但这种方法比只能得到一个可行的分类函数来说，有更强的合理性。我们称支持向量机获得的分类函数具有“结构最优”性。 从结构上还可以看出，最宽边界只取决于个别样本，大量位于直线和直线外边的样本对最宽边界并没有影响。称恰好位于直线和直线上的样本为“支持向量”。这正是这种算法称为“支持向量机”的原因。 求解线性分类问题的优化方法 求解(3)式是一个典型的优化问题，而且，(3)式中只涉及到变量的二次关系，因此，是一个二次规划问题。二次规划问题有唯一的最优解，不存在局部最优，这是本算法的突出优点。后面还可以看到，借助Lagrange方法求解(3)式优化问题时，只涉及到之间的点积运算，这将这种方法推广到非线性可分问题提供了极大的方便。为此，首先介绍最优化问题的基本概念。 优化问题的几个基本定义和定理； 无约束优化问题 对变量没有限制无约束优化问题的一般形式： （7） 定理（无约束问题解的必要条件）：若函数是上的连续可微函数，且是无约束条件（7）的局部解，则在处沿着任意方向导数都是零，或者等价的说，在处的梯度向量是零向量，即 定理（凸无约束问题解的充要条件）：设是上的连续可微凸函数，则是无约束问题全局最优的充分必要条件是。 最优性条件 1.等式约束 等式约束问题的必要条件 等式约束的一般形式： ， （ 1-1） 引入Lagrange乘子，构造Lagrange函数 可以看到，在约束问题解的条件可以表达为 用矢量函数表示多个等式约束，令Lagrange乘子矢量，则多个等式约束情况下Lagrange函数为 解的必要条件可以表达为 （1-2） 其中。显然，最优点满足(4-12)?但 设为目标函数，称和为约束条件，并称为约束函数，满足约束条件的点为可行点，并称全体可行点组成的集合为可行域。 当有P个不等式约束时，问题可以一般描述如下： （2-1） 引入Lagrange乘子，构造Lagrange函数 其中。若是不等式约束问题 （2-1）的局部解，是的有效集，且在所有的处的有效约束梯度向量 线性无