svm理论其应的研究.pdfVIP

生里型堂垫查盔兰竖主堡塞——————————————————j￡j!—!堑垒 第一章绪论 1．1有限样本的预测学习方法及其SVM算法 预测学习方法是机器学习的一个重要研究领域，绝大部分机器学习算法的 应用都涉及到对数据的预测性学习，目的是从已知数据中估计相关性以达到准 确预测将来数据变化。经典的模式识别方法，各种统计方法以及近些年来出现 的各种神经网络算法都被应用于估计这种数据中固有的相关性，试图建立一个 能预测未来数据的模型。虽然，这些应用在一些特殊的领域取得了一定的进展， 并且提出了一些新的概念和方法，但是，这些方法有其固有的算法缺陷：由于 不知道数据的分布密度以及有限的训练数据，常常导致了病态的训练结果，预 测效果往往不尽人意。人们迫切需要关于预测学习算法共同的概念和理论框架 以及更高效的预测学习方法。 到目前为止，几乎所有的预测学习算法都可以归结为以下三类[Cherkassky 19991： ●传统的统计预测方法 这类方法是在参数结构形式已知的前提下，通过训练数据，预测各参数的 值，例如：最小二乘法。应用这些预测方法除了需要很强的先验知识外，还需 预先知道模型的结构形式。但是，在处理大量的实际预测问题时，常常不知道 背景知识，面对～大堆采样来的数据，也不知道模型的结构形式。由于传统统 计学研究的前提是样本数目趋于无穷大时的渐近理论，而参数预测方法几乎都 是建立在这一前提基础之上的。因此只有当采样数据趋于无穷时，参数方法的 训练结果才趋于真实的模型。由于实际样本数目是有限的，很难满足这一前提。 ●经验非线性预测方法 80年代发展起来的人工神经网络和柔性统计方法就属于这一类。虽然，这 些新的方法克服了参数预测方法的部分弱点，能够依照需要，假设数据内在相 关性而构造非线性模型。然而，这些非线性方法缺乏统一的数学理论基础，通 常是从生物学的理论和一些学术流派中得到灵感，对于诸如神经网络中的结构 选择和权重的初值设定，仍需要借助于经验，得到的模型通常是局部最优解， 而非全局最优。 ·统计学习理论 早期的统计学习理论(Statistical Theory)是从60年代发展起来的 Learning 【Vapnik1963】，直到90年代，它一直是作为一种针对有限样本的函数预测问题 19911。虽然，早期的统计学习理论提出了VC维 的纯理论分析工具[Vapnik 19711，为衡量预测模型的复杂度，提出了 (Vapnik—Cervonenkis)理论[Vapnik 有效的理论框架。但是，它仍然是建立在经验风险最小化原则基础之上，即： 以训练的平均误差为最小的模型作为期望的最终模型。所以，早期的统计学习 理论一直停留在抽象的理论和概念的探索之中，直到90年代初期，VC维理论 还没有得到很好的应用『Chcrkassky1999]。 生星型堂垫查盔兰苎主堕塞 一——————————————皇I二曼!．自!鱼 Bell实验室小组提出了SVM算法，进 90年代中期，Vapnik和他的AtT 一步丰富和发展了统计学习理论，使它不仅是一种理论分析工具，还是一种能 构造具有多维预测功能的预测学习算法的工具，使抽象的学习理论能够转化为 通用的实际预测算法。 在统计学习理论基础之上发展起来的SVM算法，是一种专门研究有限样本 预测的学习方法。与传统统计学相比，SVM算法没有以传统的经验风险最小化 原则作为基础，而是建立在结构最小化原理基础之上，发展成为一种新型的结 构化学习方法。它能很好的解决有限数量样本的高维模型的构造问题，而且所 构造的模型具有很好的预测性能。SVM算法有很多应用例子，如：人脸识别， 手写体的识别，信号处理，KDD的应用等。上述成功的应用都说明了这种基于 VC维理论而发展起来的结构化学习方法的潜在优势。 更重要的是：作为SVM算法基础的VC维理论和结构最小化原则也为进一 步完善传统的统计预测方法和经验非线性预测方法提供了理论基础和统一的理 论框架。如何在此框架下重新构建各类预测方法，解决许多原来难以解决的问 题，进一