（三）支持向量机SVM（上）.pdfVIP

支持向量机（上） JerryLead csxulijie@ 2011 年3 月12 日星期六 1 简介 支持向量机基本上是最好的有监督学习算法了。最开始接触SVM 是去年暑假的时候， 老师要求交《统计学习理论》的报告，那时去网上下了一份入门教程，里面讲的很通俗，当 时只是大致了解了一些相关概念。这次斯坦福提供的学习材料，让我重新学习了一些 SVM 知识。我看很多正统的讲法都是从VC 维理论和结构风险最小原理出发，然后引出SVM 什 么的，还有些资料上来就讲分类超平面什么的。这份材料从前几节讲的 logistic 回归出发， 引出了SVM，既揭示了模型间的联系，也让人觉得过渡更自然。 2 重新审视logistic 回归 Logistic 回归目的是从特征学习出一个 0/1 分类模型，而这个模型是将特性的线性组合 作为自变量，由于自变量的取值范围是负无穷到正无穷。因此，使用 logistic 函数（或称作 sigmoid 函数）将自变量映射到(0,1)上，映射后的值被认为是属于y=1 的概率。 形式化表示就是 假设函数 其中x 是n 维特征向量，函数g 就是logistic 函数。 的图像是 可以看到，将无穷映射到了(0,1)。 而假设函数就是特征属于y=1 的概率。 当我们要判别一个新来的特征属于哪个类时，只需求ℎ (x) ，若大于0.5 就是y=1 的类， 反之属于y=0 类。 ( ) 再审视一下ℎ (x) ，发现ℎ (x)只和 有关， 0，那么ℎ x 0.5，g(z)只不过是用 来映射，真实的类别决定权还在 。还有当 ≫ 0时，ℎ (x)=1 ，反之ℎ (x)=0 。如果我 们只从 出发，希望模型达到的目标无非就是让训练数据中y=1 的特征 ≫ 0，而是y=0 的特征 ≪ 0 。Logistic 回归就是要学习得到θ，使得正例的特征远大于 0 ，负例的特征远 小于0 ，强调在全部训练实例上达到这个目标。 图形化表示如下： 中间那条线是 = 0，logistic 回顾强调所有点尽可能地远离中间那条线。学习出的结 果也就中间那条线。考虑上面3 个点A 、B 和C 。从图中我们可以确定A 是×类别的，然而 C 我们是不太确定的，B 还算能够确定。这样我们可以得出结论，我们更应该关心靠近中间 分割线的点，让他们尽可能地远离中间线，而不是在所有点上达到最优。因为那样的话，要 使得一部分点靠近中间线来换取另外一部分点更加远离中间线。我想这就是支持向量机的思 路和logistic 回归的不同点，一个考虑局部 （不关心已经确定远离的点），一个考虑全局 （已 经远离的点可能通过调整中间线使其能够更加远离）。这是我的个人直观理解。 3 形式化表示 我们这次使用的结果标签是y=-1,y=1，替换在logistic 回归中使用的y=0 和y=1 。同时将 θ替换成w 和b。以前的 = θ + θ + θ + ⋯ + θ ，其中认为x = 1。现在我们替 0 1 1 2 2 0 换θ 为 b，后面替换θ + θ + ⋯ + θ 为w + w + ⋯ + w （即 ）。这样， 0 1 1 2 2 1 1 2 2 我们让 = + b ，进一步ℎ (x) = ( ) = g( + b) 。也就是说除了y