算法公开课第1期 SVM专题讲座.pptVIP

SVM专题讲座 原理讲解 资料推荐 专场问答 July 二零一三年十二月二十二日 第一部分、SVM的基本原理 分类函数 最大分类间隔 凸二次规划 1或-1分类标准的起源：logistic回归 Logistic回归目的是从特征学习出一个0/1分类模型 SVM最基础的逻辑 分类函数： 目的：确定最大分类间隔 什么是support vector 支持向量 凸二次规划问题 原始问题 最大转换为最小 引入拉格朗日乘子 在一定的约束条件下，目标最优，损失最小 转化后的对偶问题是一个极大极小问题 求解对偶问题的两个步骤 先L 对 w 和 b 极小 再求对a的极大 序列最小最优化SMO算法 可解决此问题： 松弛变量 蓝点偏离 引入松弛变量的一系列变化 约束条件变成了： 目标函数变成： 完整表示： 新的拉格朗日函数 求解：先让L对w、b、 最小化： w代回L，得： 整个dual问题变成： 第二部分、SVM资料推荐 基础书籍： 《支持向量机导论》，[美] Nello Cristianini/John Shawe-Taylor 著； 《支持向量机--理论、算法和扩展》，邓乃扬 田英杰 著； 《统计学习方法》，李航著 《machine learning in action》，中文版为《机器学习实战》； 《凸优化》，作者: Stephen Boyd / Lieven Vandenberghe，原作名: Convex Optimization； Pattern Recognition and Machine learning, C. Bishop SVM相关的博客推荐 支持向量机系列，pluskid： /?page_id=683 斯坦福机器学习课程笔记 /jerrylead/tag/Machine%20Learning/； 《支持向量机通俗导论（理解SVM的三层境界）》 SVM的相关论文推荐@Copper_PKU 1/2 Support Vector Networks, Vapnik etc original paper A Tutorial on Support Vector Machines for Pattern Recognition, C. J. Burges Large-Scale Support Vector Machines: Algorithms and Theory, Aditya Krishna Menon very good survey, mainly on parameter inference Training a Support Vector Machine in the Primal BudgetedSVM: A Toolbox for Scalable SVM Approximations, Nemanja Djuric Making Large-Scale SVM Learning Practical, T. Joachims SVM论文推荐@Copper_PKU 2/2 Sequential Minimal Optimization for SVM detailed parameter inference based on SMO Fast Training of Support Vector Machines using Sequential Minimal Optimization, John C. Platt SMO orginal paper Working Set Selection Using Second Order Information for Training Support Vector Machines workset seletion method for libsvm, I am not sure still using it LIBSVM: A Library for Support Vector Machines, Chih-Chung Chang etc, libsvm paper 第三部分、SVM专场问答 SVM的最新进展是什么？ /files/tutorial_slides/te2.pdf sgd(随机梯度下降)与smo的原理有何不同？ sgd的核心思想：是迭代训练，每拿到一个样本就算出基于当前w(t) 的loss function，t代表训练第t次，然后进行下一w（t+1）的更新，w(t+1)=w(t)-(learning rate) * loss function的梯度，这个类比神经网络中bp中的参数训练方法。 为何说sgd更适合大的训