支持向量机通俗导论(理解SVM的三层境界).pdfVIP

支持向量机通俗导论（理解SVM的三层境界）

作者：July、pluskid；致谢：白石、JerryLead

出处：结构之法算法之道blog。

1.支持向量机通俗导论理解SVM的三层境界

2.前言

3.第一层了解SVM

1.什么是支持向量机SVM

2.线性分类

1.分类标准

2.或-1分类标准的起源logistic回归

3.形式化标示

3.线性分类的一个例子

4.函数间隔Functionalmargin与几何间隔Geometricalmargin

5.函数间隔Functionalmargin

6.点到超平面的距离定义几何间隔Geometricalmargin

7.最大间隔分类器MaximumMarginClassifier的定义

8.到底什么是SupportVector

4.第二层深入SVM

1.从线性可分到线性不可分

1.从原始问题到对偶问题的求解

2.序列最小最优化SMO算法

3.线性不可分的情况

2.核函数Kernel

1.如何处理非线性数据

2.特征空间的隐式映射核函数

3.几个核函数

4.核函数的本质

3.使用松弛变量处理outliers方法

4.小结

5.第三层证明SVM

1.线性学习器

1.感知机算法

2.松弛变量

2.最小二乘法

3.核函数特征空间

4.SMO算法

5.SVM的实现

6.SVM的应用

1.文本分类

7.参考文献及推荐阅读

前言

动笔写这个支持向量机(supportvectormachine)是费了不少劲和困难的，从5月22日凌晨两点在微博上说我要写了，到此刻真正动

笔要写此文，中间竟然隔了近半个月(而后你会发现，我写完此文得花一个半月，修改完善又得再花一个月，故前后加起来至8月底，写这个SVM便要

花足足近3个月)。原因很简单，一者这个东西本身就并不好懂，要深入学习和研究下去需花费不少时间和精力，二者这个东西也不好讲清

楚，尽管网上已经有朋友写得不错了(见文末参考链接)，但在描述数学公式的时候还是显得不够。得益于同学白石的数学证明，我还是想尝

试写一下，希望本文在兼顾通俗易懂的基础上，真真正正能足以成为一篇完整概括和介绍支持向量机的导论性的文章。

本文作为Top10AlgorithmsinDataMining系列第二篇文章，将主要结合《支持向量机导论》、《数据挖掘导论》及网友pluskid

的支持向量机系列而写(于此，还是一篇学习笔记，只是加入了自己的理解，有任何不妥之处，还望海涵)，宏观上整体认识支持向量机的

概念和用处，微观上深究部分定理的来龙去脉，证明及原理细节，力求深入浅出通俗易懂。

在本文中，你将看到，理解SVM分三层境界，

第一层、了解SVM(你只需要对SVM有个大致的了解，知道它是个什么东西便已足够)；

第二层、深入SVM(你将跟我一起深入SVM的内部原理，通宵其各处脉络，以为将来运用它时游刃有余)；

第三层、证明SVM(当你了解了所有的原理之后，你会有大笔一挥，尝试证明它的冲动)；

以此逐层深入，从而照顾到水平深浅度不同的读者，在保证浅显直白的基础上尽可能深入，还读者一个较为透彻清晰的SVM。

同时，阅读本文之前，请读者注意以下两点：

1.若读者用IE6浏览器阅读本文，将有大部分公式无法正常显示(显示一半或者完全无法显示)，故若想正常的阅读本文请尽量

使用chrome等浏览器，谢谢大家。

2.本文中出现了诸多公式，若想真