SVM-支持向量机算法-1技术分析.pptVIP

得 ： δ=||w||δ几何 几何间隔与||w||是成反比的，因此最大化几何间隔与最小化||w||完全是一回事。 常用的方法并不是固定||w||的大小而寻求最大几何间隔，而是固定间隔（例如固定为1），寻找最小的||w||。 求一个函数的最小值（或最大值）的问题都可以称为寻优问题（也叫作一个规划问题），又由于找最大值的问题总可以通过加一个负号变为找最小值的问题，因此下面讨论针对找最小值的过程来进行。一个寻优问题最重要的部分是目标函数，就是指寻优的目标。 目标函数 例如寻找最小的||w||这件事，就可以用下面的式子表示： 但实际上对于这个目标，常常使用另一个完全等价的目标函数来代替，那就是： 不难看出当||w||2达到最小时，||w||也达到最小，反之亦然。 这个式子是否能描述我们的问题呢？ 我们的问题是有一堆点，可以被分成两类，我们要找出最好的分类面。 如果直接来解这个求最小值问题，很容易看出当||w||=0的时候就得到了目标函数的最小值。但是无论给什么样的数据，都是这个解。反映在 图中，就是H1与H2两条直线间的距离无限大，这个时候，所有的样本点（无论正样本还是负样本）都跑到了H1和H2中间。而我们原本的意图是，H1右侧的 被分为正类，H2 左侧的被分为负类，位于两类中间的样本则拒绝分类（拒绝分类的另一种理解是分给哪一类都有道理，因而分给哪一类也都没有道理）。但，所有样本点都进入了无法分类的灰色地带。 约束条件 造成这种结果的原因是在描述问题的时候只考虑了目标，而没有加入约束条件。 约束条件就是在求解过程中必须满足的条件，体现在问题中就是样本点必须在H1或H2的某一侧（或者至少在H1和H2上），而不能跑到两者中间。 前文提到过把间隔固定为1，这是指把所有样本点中间隔最小的那一点的间隔定为1，意味着集合中的其他点间隔都不 会小于1，按照间隔的定义，满足这些条件就相当于让下面的式子总是成立： yi[(w·xi)+b]≥1 (i=1,2,…,l) （l是总的样本数） 但我们常常习惯让式子的值和0比较，因而经常用变换过的形式： yi[(w·xi)+b]-1≥0 (i=1,2,…,l) 因此我们的两类分类问题也被我们转化成了它的数学形式，一个带约束的最小值的问题： 从最一般的定义上说，一个求最小值的问题就是一个优化问题，它同样由两部分组成，目标函数和约束条件，可以用下面的式子表示： 式1 约束条件用函数c来表示。可以看出一共有p+q个约束条件，其中p个是不等式约束，q个等式约束。 式1 式中的x是自变量，但不限定它的维数必须为1（视乎解决的问题空间维数）。 要求f(x)在哪一点上取得最小值，不是在整个空间里找，而是在约束条件所划定的一个有限的空间里找，这个有限的空间就是优化理论里所说的可行域。注意可行域中的每一个点都要求满足所有p+q个条件，而不是满足其中一条或几条就可以，同时可行域边界上的点有一个额外好的特性，它们可以使不等式约束取得等号。可行域还有个概念不得不提，那就是凸集：凸集是指有这么一个点的集合，其中任取两个点连一条直线，这条线上的点仍然在这个合内部。 再来看我们线性分类器问题的描述： 式2 自变量就是w，而目标函数是w的二次函数，所有的约束条件都是w的线性函数。 这种规划问题有称呼——二次规划（Quadratic Programming，QP），更进一步的说，由于它的可行域是一个凸集，因此它是一个凸二次规划。凸二次规划有全局最优解，由于我们想找的本来就是全局最优的解。 对比（式2）和（式1）还可以发现，我们的线性分类器问题只有不等式约束，因此形式上看似乎比一般意义上的规划问题要简单，但解起来却并非如此。 让我们再一次比较完整的重复一下要解决的问题：我们有属于两个类别的样本点若干（并不限定这些点在二维空间中），如图：