第4章 支持向量机及其学习算法详解.ppt

支持向量机及其学习算法 合肥工业大学图像信息处理研究室 /organ/images/ 主要内容 一、 历史背景 二、 统计学习理论 三、 支持向量机 四、 支持向量机的分类学习算法 五、 用于函数拟合的支持向量机 六、 支持向量机算法的研究与应用 七、 仿真实例 传统统计学是一种渐进理论，研究的是样本数目趋于无穷大时的极限特性。 现有的学习方法多基于传统统计学理论，但在实际应用中，样本往往是有限的，因此一些理论上很优秀的学习方法在实际中的表现却不尽人意，存在着一些难以克服的问题，比如说如何确定网络结构的问题、过学习问题、局部极小值问题等，从本质上来说就是因为理论上需要无穷样本与实际中样本有限的矛盾造成的。 与传统统计学的方向不同，Vapnik等人提出了一个较完善的基于有限样本的理论体系－－统计学习理论。 统计学习理论是一种专门研究小样本情况下机器学习规律的理论，它从更本质上研究机器学习问题，为解决有限样本学习问题提供了一个统一的框架 。 支持向量机方法是在统计学习理论基础上发展起来的通用学习方法，它具有全局优化、适应性强、理论完备、泛化性能好等优点 。 统计学习理论  （ Statistical Learning Theory ，SLT） 机器学习的基本问题 统计学习理论 机器学习问题的表示 基于数据的机器学习是现有智能技术中的重要方面，其研究的实质是根据给定的训练样本求出对系统输入输出之间依赖关系的估计，使它能对未知样本的输出做出尽可能准确的预测。 定义期望风险： 经验风险最小化 （Empirical Risk Minimization ，ERM） 实际应用中，一般根据概率论中的大数定理，即采用下式的算术平均来逼近期望风险。 用对参数 求经验风险 的最小值代替求期望风险 的最小值。 事实上，从期望风险最小化到经验风险最小化并没有可靠的理论依据，只是直观上合理的想当然做法。 经验风险最小化原则不成功的一个例子就是神经网络的过学习问题:训练误差（经验风险）过小反而会导致推广能力的下降，即真实误差（期望风险）的增加。 出现过学习现象的原因主要是由于学习样本不充分和学习机器设计不合理。 当试图用一个复杂的模型去拟合有限的样本，必然会丧失推广能力。由此可见，有限样本下学习机器的复杂性与推广性之间存在矛盾。机器的复杂度高，必然会导致其推广性差；反之，一个推广性好的学习机器，其分类能力必然不够强。 设计一个好的学习机器的目标就变成如何在学习能力和推广性之间取得一个平衡，使得在满足给定学习能力的前提下，提高其推广性。 统计学习理论（SLT） 统计学习理论被认为是目前针对小样本统计估计和预测学习的最佳理论。它从理论上较为系统的研究了经验风险最小化原则成立的条件、有限样本下经验风险与期望风险的关系以及如何利用这些理论找到新的学习原则和方法等问题。 其中，最有指导性的理论结果是推广性的界的结论，和与此相关的一个核心概念是函数集的VC维。 函数集的VC维  （Vapnik Chervonenkis Dimension ） 模式识别方法中VC维的直观定义是：对于一个指标函数集，如果存在n个样本能够被函数集中的函数按所有可能的 种形式分开， 则称函数集能够把n个样本打散；函数集的VC维就是它能打散的最大样本数目h。有界实函数的VC维可以通过用一定的阈值将其转化为指示函数来定义。 VC维反映了函数集的学习能力，VC维越大则学习机器越复杂（学习能力越强）。 推广性的界 统计学习理论系统地研究了各种类型函数集的经验风险（即训练误差）和实际风险（即期望风险）之间的关系，即推广性的界。 关于两类分类问题有如下结论：对指示函数集中的所有函数，经验风险和实际风险之间至少以概率 满足如下关系： 其中h是函数集的VC维，l是样本数。 学习机器的实际风险由两部分组成： 经验风险 ，即训练误差； 置信范围（Confidence Interval） 可以简单的表示为： 它表