模式识别 支持向量机.pdf

计算机模式识别报告 支持向量机 一、 SVM 的介绍 支持向量机(Support Vector Machine,SVM)是Corinna Cortes和Vap nik[8]等于 1995年首先提出的，它在解决小样本、非线性及高维模式识别 中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问 题中。 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小 原理基础上的，根据有限的样本信息在模型的复杂性 （即对特定训练样本 的学习精度）和学习能力 （即无错误地识别任意样本的能力）之间寻求最 佳折衷，以期获得最好的推广能力 。 我们通常希望分类的过程是一个机器学习的过程。这些数据点是n维 实空间中的点。我们希望能够把这些点通过一个n-1维的超平面分开。通 常这个被称为线性分类器。有很多分类器都符合这个要求。但是我们还希 望找到分类最佳的平面，即使得属于两个不同类的数据点间隔最大的那个 面，该面亦称为最大间隔超平面。如果我们能够找到这个面，那么这个分 类器就称为最大间隔分类器。 支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有 一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超 平面。建立方向合适的分隔超平面使两个与之平行的超平面间的距离最大 化。其假定为，平行超平面间的距离或差距越大，分类器的总误差越小。 一个极好的指南是C.J.C Burges 的 《模式识别支持向量机指南》。 所谓支持向量是指那些在间隔区边缘的训练样本点。 这里的 “机 （ma chine,机器）”实际上是一个算法。在机器学习领域，常把一些算法看做 是一个机器。 支持向量机(Support vector machines，SVM)与神经网络类似，都是 学习型的机制，但与神经网络不同的是SVM 使用的是数学方法和优化技术。 支持向量机是由Vapnik领导的ATTBell实验室研究小组在 1963年提 出的一种新的非常有潜力的分类技术，SVM 是一种基于统计学习理论的模式 识别方法，主要应用于模式识别领域。由于当时这些研究尚不十分完善， 在解决模式识别问题中往往趋于保守，且数学上比较艰涩，这些研究一直 没有得到充分的重视。直到90年代，统计学习理论 (Statistical Learni ng Theory，SLT)的实现和由于神经网络等较新兴的机器学习方法的研究遇 到一些重要的困难，比如如何确定网络结构的问题、过学习与欠学习问题、 局部极小点问题等，使得SVM 迅速发展和完善，在解决小样本、非线性及 高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合 等其他机器学习问题中。从此迅速的发展起来，现在已经在许多领域 （生 物学，文本和手写识别等）都取得了成功的应用。 SVM 的关键在于核函数。低维空间向量集通常难于划分，解决的方法是 将它们映射到高维空间。但这个办法带来的困难就是计算复杂度的增加， 而核函数正好巧妙地解决了这个问题。也就是说，只要选用适当的核函数， 就可以得到高维空间的分类函数。在 SVM 理论中，采用不同的核函数将导 致不同的SVM 算法。 二、基于统计学习理论的支持向量机算法研究的理论背景 基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据（样本） 出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。迄今为止， 关于机器学习还没有一种被共同接受的理论框架，关于其实现方法大致可以分为 三种： 第一种是经典的 （参数）统计估计方法。包括模式识别、神经网络等在内， 现有机器学习方法共同的重要理论基础之一是统计学。参数方法正是基于传统统 计学的，在这种方法中，参数的相关形式是已知的，训练样本用来估计参数的值。 这种方法有很大的局限性，首先，它需要已知样本分布形式，这需要花费很大代 价，还有，传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方 法也多是基于此假设。但在实际问题中，样本数往往是有限的，因此一些理论上 很优秀的学习方法实际中表现却可能不尽人意。 第二种方法是经验非线性方法，如人工神经网络 （ANN）。这种方法利用已 知样本建立非线性模型，克服了传统参数估计方法的困难。但是，这种方法缺乏 一种统一的数学理论。 与传统统计学相比，统计学习理论 （Statistical Learning Theory 或SLT）是一 种专门研究小样本情况下机器学习规律的理论。该