支持向量机原理--【入门新手不可错过】.pdfVIP

支持向量机 1 1 11 简介 支持向量机基本上是最好的有监督学习算法了。最开始接触SVM是去年暑假的时候，老师要求 交《统计学习理论》的报告，那时去网上下了一份入门教程，里面讲的很通俗，当时只是大致了 解了一些相关概念。这次斯坦福提供的学习材料，让我重新学习了一些SVM知识。我看很多正 统的讲法都是从VC 维理论和结构风险最小原理出发，然后引出SVM什么的，还有些资料上来 就讲分类超平面什么的。这份材料从前几节讲的logistic回归出发，引出了SVM，既揭示了模 型间的联系，也让人觉得过渡更自然。 2 logistic 2 logistic 22 重新审视llooggiissttiicc回归 Logistic回归目的是从特征学习出一个0/1分类模型，而这个模型是将特性的线性组合作为自 变量，由于自变量的取值范围是负无穷到正无穷。因此，使用logistic函数（或称作sigmoid 函数）将自变量映射到(0,1)上，映射后的值被认为是属于y=1的概率。 形式化表示就是 假设函数 x n g logistic 其中 是 维特征向量，函数 就是 函数。 的图像是 可以看到，将无穷映射到了(0,1)。 而假设函数就是特征属于y=1的概率。 当我们要判别一个新来的特征属于哪个类时，只需求 ，若大于0.5就是y=1的类，反之 属于y=0类。 再审视一下 ，发现 只和 有关， 0，那么 ，g(z)只不过是用来映 射，真实的类别决定权还在 。还有当 时， =1，反之 =0。如果我们只从 出发，希望模型达到的目标无非就是让训练数据中y=1的特征 ，而是y=0的特征 Logistic 0 0 。 回归就是要学习得到 ，使得正例的特征远大于 ，负例的特征远小于 ， 强调在全部训练实例上达到这个目标。 图形化表示如下： 中间那条线是 ，logistic回顾强调所有点尽可能地远离中间那条线。学习出的结果也就 3 A B C A × C 中间那条线。考虑上面 个点 、 和 。从图中我们可以确定 是 类别的，然而 我们是 B 不太确定的， 还算能够确定。这样我们可以得出结论，我们更应该关心靠近中间分割线的点， 让他们尽可能地远离中间线，而不是在所有点上达到最优。因为那样的话，要使得一部分点靠近 中间线来换取另外一部分点更加远离中间线。我想这就是支持向量机的思路和logistic回归的不 同点，一个考虑局部（不关心已经确定远离的点），一个考虑全局（已经远离的点可能通过调整 中间线使其能够更加远离）。这是我的个人直观理解。 3 3 33 形式化表示 y=-1,y=1 logistic y=0 y=1 我们这次使用的结果标签是 ，替换在 回归中使用的 和 。同时将 w b 替换成 和 。以前的 ，其中认为 。现在我们替换 b 为 ，后面替换 为 （即 ）。这样，我们 y y=0 y=-1 让 ，进一步 。也就是说除了 由 变为 ， 只是标记不同外，与logistic回归的形式化表示没区别