斯坦福大学公开课：机器学习课程note3翻译.docxVIP

Part V Support Vector Machines 这篇讲义讲的是支持向量机（SVM）学习算法。SVMs是最好的“非专门设计的”监督学习算法。为了讲SVM的故事，我们需要先讲一下分散数据的边际概念。接下来我们会说一下最优边际分类，虽然会有一点离题去讲拉格朗日对偶。我们也会说一下这个核心，给出一种支撑SVMs很有效的适用于高纬度的特征空间，最后我们会以能够很好实现SVMs算法的SMO结束这个故事。 1 Margins: Intuition 我们会以考虑边际开始我们的故事。本节会给出边际判断和预测的“自信力”；这些东西会正式的讲解在第三节。 考虑一下逻辑回归，概率p(y=1|x; θ)由hθ（x）=g（θTx）给出。我们然后会预测“1”通过输入到x当且仅当，或者是当且仅当。有一个正数训练样本（y=1）。越大，就越大，因此我们的预测标签是1的“自信度”也就越高。因此，正式的我们能认为我们的预测作为一个自信的模型如果。同样的，我们认为逻辑回归做出一个非常自信的预测对于y=0，如果。给定一组训练集，如果我们能找到一个θ使的对于所有的x有当对于任意y有y=1并且对于任意的x有成立当对于所有的y=0，因此这个能反映一个非常正确的分类集对于所有的训练样本。这看起来是一个好的目标去实现，并且我们很快会把这个想法实现出来用函数边际的概念。 对于一个不同的类型关于判断事实，考虑下列