支持向量机通俗导论（理解SVM的三层境界）-GitHub.PDF

支持向量机通俗导论（理解SVM 的三层境界） July、pluskid ；致谢：白石、JerryLead 出处：结构之法算法之道blog。 前言 动笔写这个支持向量机(supportvectormachine) 是费了不少劲和困难的，原因很简 单，一者这个东西本身就并不好懂，要深入学习和研究下去需花费不少时间和精力，二 者这个东西也不好讲清楚，尽管网上已经有朋友写得不错了(见文末参考链接)，但在描 述数学公式的时候还是显得不够。得益于同学白石的数学证明，我还是想尝试写一下， 希望本文在兼顾通俗易懂的基础上，真真正正能足以成为一篇完整概括和介绍支持向量 机的导论性的文章。 本文在写的过程中，参考了不少资料，包括《支持向量机导论》、《统计学习方法》 及网友pluskid 的支持向量机系列等等，于此，还是一篇学习笔记，只是加入了自己的 理解和总结，有任何不妥之处，还望海涵。全文宏观上整体认识支持向量机的概念和用 处，微观上深究部分定理的来龙去脉，证明及原理细节，力保逻辑清晰通俗易懂。 同时，阅读本文时建议大家尽量使用chrome 等浏览器，如此公式才能更好的显示， 再者，阅读时可拿张纸和笔出来，把本文所有定理. 公式都亲自推导一遍或者直接打印 下来（可直接打印网页版或本文文末附的PDF，享受随时随地思考、演算的极致快感）， 在文稿上演算。 Ok，还是那句原话，有任何问题，欢迎任何人随时不吝指正赐教，感谢。 1 第一层、了解SVM 1.1 什么是支持向量机SVM 要明白什么是SVM，便得从分类说起。 分类作为数据挖掘领域中一项非常重要的任务，它的目的是学会一个分类函数或分 类模型(或者叫做分类器)，而支持向量机本身便是一种监督式学习的方法(至于具体什 么是监督学习与非监督学习，请参见此系列MachineLDataMining 第一篇)，它广泛的 应用于统计分类以及回归分析中。 支持向量机（SVM）是90 年代中期发展起来的基于统计学习理论的一种机器学习 方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最 小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。 通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线 性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问 题的求解。 对于不想深究SVM 原理的同学或比如就只想看看SVM 是干嘛的，那么，了解到 这里便足够了，不需上层。而对于那些喜欢深入研究一个东西的同学，甚至究其本质 的，咱们则还有很长的一段路要走，万里长征，咱们开始迈第一步吧，相信你能走完。 1 1.2 线性分类 OK，在讲SVM之前，咱们必须先弄清楚一个概念：线性分类器(也可以叫做感知 机，这里的机表示的是一种算法，本文第三部分、证明SVM 中会详细阐述)。 1.2.1 分类标准 这里我们考虑的是一个两类的分类问题，数据点用 来表示，这是一个 维向量， 中的 代表转置，而类别用 来表示，可以取 1或者-1 ，分别代表两个不同的类。 一个线性分类器的学习目标就是要在 维的数据空间中找到一个分类超平面，其方程 可以表示为： (1) 上面给出了线性分类的定义描述，但或许读者没有想过：为何用y 取 1或者-1 来 表示两个不同的类别呢？其实，这个 1或-1 的分类标准起源于logistic 回归，为了完整 和过渡的自然性，咱们就再来看看这个logistic 回归。 1.2.2 1 或 -1 分类标准的起源：logistic 回归 Logistic 回归目的是从特征学习出一个 分类模型，而这个模型是将特性的线性 组合作为自变量，由于自变量的取值范围是负无穷到正无穷。因此，使用logistic 函数 （或称作sigmoid 函数）将自变量映射到 上，映射后的值被认为是属于y=1 的概率。 形式化表示就是 假设函数