SVM入门..doc

SVM入门-V.0 1 SVM入门（一） SVM的八股简介 2 2 SVM入门（二）线性分类器Part 1 3 3 SVM入门（三）线性分类器Part 2 5 4 SVM入门（四）线性分类器的求解——问题的描述Part1 7 5 SVM入门（五）线性分类器的求解——问题的描述Part2 8 6 SVM入门（六）线性分类器的求解 10 7 SVM 入门（七）为什么需要核函数 12 8 SVM入门（八）松弛变量 15 9 SVM入门（九）松弛变量（续） 18 10 SVM入门（十）将SVM用于多类分类 20 11 参考文献 24 李村合 整理 2010.10.29 SVM入门（一） SVM的八股简介 支持向量机(Support Vector MachineSVM)，是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其它机器学习问题中。 支持向量机方法，是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息，在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力（或称泛化能力）。 以上是经常被有关SVM 的学术文献引用的介绍，有点八股，我来逐一分解并解释一下。 Vapnik是统计机器学习的大牛，这想必都不用说，他出版的《Statistical Learning Theory》是一本完整阐述统计机器学习思想的名著。在该书中，详细地论证了统计机器学习之所以区别于传统机器学习的本质，就在于统计机器学习能够精确地给出学习效果，能够解答需要的样本数等等一系列问题。与统计机器学习的精密思维相比，传统的机器学习基本上属于摸着石头过河用传统的机器学习方法构造分类系统完全成了一种技巧，一个人做的结果可能很好，另一个人用差不多的方法做出来却很差，缺乏指导和原则。 所谓VC维是对函数类的一种度量，可以简单地理解为问题的复杂程度，VC维越高，一个问题就越复杂。正是因为SVM关注的是VC维，后面我们可以看到，SVM解决问题的时候，和样本的维数是无关的样本甚至是上万维的都可以，这使得SVM很适合用来解决文本分类的问题当然，有这样的能力也因为引入了核函数。 结构风险最小听上去文绉绉，其实说的也无非是下面这回事。 机器学习本质上就是一种对问题真实模型的逼近我们选择一个我们认为比较好的近似模型，这个近似模型就叫做一个假设但毫无疑问，真实模型一定是不知道的如果知道了，我们干吗还要机器学习？直接用真实模型解决问题不就可以了？既然真实模型不知道，那么我们选择的假设与问题真实解之间究竟有多大差距，我们就没法得知。比如说，我们认为宇宙诞生于150亿年前的一场大爆炸，这个假设能够描述很多我们观察到的现象，但它与真实的宇宙模型之间还相差多少？谁也说不清，因为我们压根就不知道真实的宇宙模型到底是什么。 这个与问题真实解之间的误差，就叫做风险（更严格说，误差的累积叫做风险）。我们选择了一个假设之后（更直观点说，我们得到了一个分类器以后），真实误差无从得知，但我们可以用某些可以掌握的量来逼近它。最直观的想法，就是使用分类器在样本数据上的分类结果与真实结果（因为样本是已经标注过的数据，是准确的数据）之间的差值来表示。这个差值叫做经验风险Remp(ω)。以前的机器学习方法，都把经验风险最小化作为努力的目标但后来发现，很多分类函数能够在样本集上轻易达到100%的正确率，在真实分类时却一塌糊涂即所谓的推广能力差，或泛化能力差。此时的情况，便是选择了一个足够复杂的分类函数它的VC维很高，能够精确地记住每一个样本，但对样本之外的数据，则一律分类错误。回头看看经验风险最小化原则，我们就会发现，此原则适用的大前提是经验风险要确实能够逼近真实风险才行（行话叫一致），但实际上能逼近么？答案是不能，因为样本数相对于现实世界要分类的文本数来说，简直是九牛一毛，经验风险最小化原则只在这占很小比例的样本上做到没有误差，当然不能保证在更大比例的真实文本上也没有误差。 统计学习因此引入了泛化误差界的概念，就是指真实风险应该由两部分内容刻画一是经验风险，代表了分类器在给定样本上的误差；二是置信风险，代表了我们在多大程度上可以信任分类器在未知文本上分类的结果。很显然，第二部分是没有办法精确计算的，因此只能给出一个估计的区间，也使得整个误差只能计算上界，而无法计算准确的值（所以叫做泛化误差界，而不叫泛化误差）。 置信风险与两个量有关一是样本数量，显然给定的样本数量越大，我们的学习结果越有可能正确，此时置信风险越小；二是分类函数的VC维，显然VC维越大，推广能力越差，置信风险会变大。 泛化误差界的公式为：