创立的统计学习理论是一种专门的小样本理论,这一方法.docVIP

支持向量基是由V. N. Vapnik教授等人创立的统计学习理论是一种专门的小样本理论，这一方法数学推导严密，理论基础坚实。基于这一理论近年提出的支持向量机（Support Vector Machines 简称SVM）方法，为解决基于数据的非线性建模问题提供了一个新思路。SVM方法是一种具有严密理论基础的计算机学习的新方法，它已经成为计算机学习、模式识别、计算智能、预测预报等领域的热点技术，受到国内外的广泛关注。 1.支持向量机方法的基本思想 SVM方法的基本思想是：定义最优线性超平面，并把寻找最优线性超平面的算法归结为求解一个凸规划问题。进而基于Mercer核展开定理，通过非线性映射φ，把样本空间映射到一个高维乃至于无穷维的特征空间（Hilbert空间），使在特征空间中可以应用线性学习机的方法解决样本空间中的高度非线性分类和回归等问题。 简单地说就是升维和线性化。升维，即是把样本向高维空间做映射，一般只会增加计算的复杂性，甚至会引起“维数灾”，因而人们很少问津。但是作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间却可以通过一个线性超平面实现线性划分（或回归）。SVM的线性化是在变换后的高维空间中应用解线性问题的方法来进行计算。在高维特征空间中得到的是问题的线性解，但与之相对应的却是原来样本空间中问题的非线性解。 一般的升维都会带来计算的复杂化。SVM方法巧妙地解决了这两个难题：由于应用了核函数的展开定理，所以根本不需要知道非线性映射的显式表达式；由于是在高维特征空间中建立线性学习机，所以与线性模型相比不但几乎不增加计算的复杂性，而且在某种程度上避免了“维数灾”。这一切要归功于核的展开和计算理论。因此人们又称SVM方法为基于核的一种方法。核方法研究是比SVM更为广泛和深刻的研究领域。 2.支持向量机方法的优点 SVM方法基本上不涉及概率测度的定义及大数定律等，因此不同于现有的统计方法。它具有如下优点： （1）SVM的最终决策函数只由少数的支持向量所确定，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了“维数灾”。 （2）少数支持向量决定了最终结果，这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本，而且注定了该方法不但算法简单，而且具有较好的“鲁棒”性（鲁棒是robustness的音译，也有义译成稳健性、健壮性等）。 （3）由于有较为严格的统计学习理论做保证，应用SVM方法建立的模型具有较好的推广能力。SVM方法可以给出所建模型的推广能力的确定的界，这是目前其它任何学习方法所不具备的。 （4）建立任何一个数据模型，人为的干预越少越客观。与其他方法相比，建立SVM模型所需要的先验干预较少。 人脸识别技术是国内外共同关注的一个前沿课题，在现代经济和社会的发展中有着十分广泛的应用领域和应用前景，如安全系统、罪犯识别、电视会议等，因而已经成为当前模式识别和人工智能的一个研究热点。 ①每类样本通过一类SVM训练一个支持向量机。 ②构建如图4-4所示的分类二叉树，图中A、B、C、D、E、F、G、H均为类别名，此例中共有8类样本。若为k类样本，构建这样的二层二叉树则叶子节点包含的类别数为k／4。那么待判别的样本经过此二叉树粗略判别后，最多仅需要经过k／4个一类SVM分类器进行判别。下面介绍此二叉树是如何构建的：以图4-4为例，除叶子节点以外的其他节点都是一个分类器。这些分类器也是通过标准支持向量机训练得到的，以根节点为例，训练过程所选用的正面样本是样本A、B、C、D通过第一步训练所得到的支持向量，负面样本是样本E、F、G、H通过第一步训练所得到的支持向量，通过此节点判断的结果就是待判别的样本是属于ABCD中的一类还是EFGH中的一类。 ③对输入人脸进行判别，首先将待-N另JJ人脸经过二叉树，初步确定此人脸属于哪一个分支，然后再使用第一步训练出的一类支持向量机来具体确定是属于哪一类。 2．实验结果分析 本试验中与上一节实验选用相同的人脸库。ORL人脸库中每个人有10个不同姿态、光照下的人脸样本，yale人脸库中每个人有11个人脸样本，其中一张阴影特别严重，所以我们取其余的10幅图片。每个人脸库我们选取10类样本进行试验。核函数我们选取高斯核，形如公式4-21. 由于每类样本数目较少，每个类别我们选用8个样本用于训练，另外两个样本用于测试，每个类别洲练一个分类函数。测试样本依次通过各个分类函数来判断所属类别，判别方式与“一对多”方法类似。试验结果如下：ORL人脸库：20个待识别样本中仅正确识别了12个Yale人脸库：20个待识别样本中仅正确识别了10个另外一次试验中，每个类别我们选取5个样本用于训练，另外5个样本用于测试，识别结果更不理想，识别率低于50％。从上面的识别结果看，此方