第七章 支持向量机_第一次课课件.ppt

本章内容 7.1 引言 7.2 统计学习理论的基本理论 7.3 支持向量机 7.4 核函数 7.1 引言 基于数据的机器学习是现代智能技术中的重要方面, 其本质就是从观测数据出发寻找统计规律, 并对未来进行预测。 人的智慧中一个很重要的方面是从实例学习的能力, 通过对已知事实的分析总结出规律, 预测不能直接观测的事实。 在这种学习中, 重要的是要能够举一反三, 即利用学习得到的规律, 不但可以较好地解释已知的实例, 而且能够对未来的现象或无法观测的现象做出正确的预测和判断。我们把这种能力叫做泛化（推广）能力。 在人们对机器智能的研究中, 希望能够用机器(计算机)来模拟这种学习能力, 这就是我们所说的基于数据的机器学习问题, 或者简单地称作机器学习问题。 目的： 设计某种(某些)方法, 使之能够通过对已知数据的学习, 找到数据内在的相互依赖关系, 从而对未知数据进行预测或对其性质进行判断。 同样, 我们最关心的仍是泛化能力问题。 迄今为止, 关于机器学习还没有一种被共同接受的理论框架, 关于其实现方法大致可以分为三种: 经典的(参数)统计估计方法 人工神经网络 —— 非线性方法 支持向量机 —— 基于有限样本的统计学习理论 A. 经典的(参数)统计估计方法 参数方法基于传统统计学。在这种方法中, 模型结构是已知的, 训练样本用来估计参数的值。 这种方法有很大的局限性, 样本分布形式需已知, 这需要花费很大代价。 传统统计学研究的是样本数目趋于无穷大时的渐近理论, 即当样本趋向于无穷多时的统计性质。 现有学习方法也多是基于样本数大这一假设。 但在实际问题中, 样本数往往是有限的, 有时还十分有限。 虽然人们实际上一直知道这一点, 但传统上仍以样本数目无穷多为假设来推导各种算法, 希望这样得到的算法在样本较少时也能有较好的(至少是可接受的)表现。 因此当样本数有限时, 一些本来在样本数目无穷多为假设来推导的, 理论上很优秀的学习方法实际中表现却可能不尽人意, 可能表现出很差的泛化能力。 B. 经验非线性方法, 如ANN 这种方法利用已知样本建立非线性模型, 克服了传统参数估计方法的困难。 但是, 这种方法缺乏一种统一的数学理论。 C. 基于小样本的统计学习理论 针对小样本学习问题及泛化能力差等机器学习问题, 实际上人们一直在努力解决此类问题。 但是, 其中多数工作集中在对已有(基于传统统计学原则的)方法的改进和修正, 或者利用启发式方法设计某些巧妙的算法。 统计学习理论(Statistical Learning Theory, SLT) 创始人Vapnik从20实际60年代开始致力于有限样本统计理论的研究, 在70年代就已经建立了其基本理论体系, 成为机器学习问题研究的新的思路, 有着诱人的前景。 SLT从七十年代末诞生, 到九十年代之前都处在初级研究和理论准备阶段, 九十年代才逐渐得到重视, 其本身也趋向完善, 并在1992直接产生了支持向量机(Support Vector Machine, SVM) 这一将这种理论付诸实现的有效的通用机器学习方法。 或许是由于SLT为人们系统研究有限样本情况下机器学习问题提供了有力的理论基础, 或许更是因为在这一基础上的SVM方法所表现出的令人向往的优良特性, 人们开始迅速重视起这一早在20年前就该重视的学术方向。 SLT指出经验风险最小并不能保证期望风险最小; 给出了核心概念VC维; 提出了结构风险最小化原理，指出为了最小化期望风险必须同时最小化经验风险和VC维, 即结构风险。 SLT有完备的理论基础和严格的理论体系(相比之下ANN有更多的启发式成分), 而且其出发点是更符合实际情况的有限样本假设。 SVM就是基于SLT的一种模式识别与机器学习的方法, 它是SLT中最新的内容, 也是最实用的部分。 目前, SVM算法在模式识别、回归估计、概率密度函数估计等方面都有应用。 在模式识别方面, 除对于手写数字识别外, 在语音识别、人脸图像识别、文章分类等问题, SVM算法在精度上已经超过传统的学习算法或与之不相上下。 下面开始讨论SVM, 主要内容有: 统计学习理论的基本理论 支持向量机 核函数 支持向量机优化方法 SVM的应用领域和研究进展 7.2 统计学习理论的基本理论 与传统统计学相比, 统计学习理论(SLT)是一种专门研究小样本情况下机器学习规律的理论。 该理论针对小样本统计问题建立了一套新的理论体系, 在这种体系下的统计推理规则不仅考虑了对渐近性能的要求, 而且追求在现有有限信息的条件下得到最优结果。 SLT的主要内容为： 在基于经验数据最小化风险泛函的模型基础上对学习问题的表示。 对经验风险最小化原则的深入分析, 包括其