第09-2讲支持向量机回归学案.ppt

第九讲 现代辨识方法选讲--2 支持向量机网络 目录(1/1) 目 录 引言 统计学习理论的基本理论 支持向量机 核函数 支持向量机优化方法 支持向量机方法小结 支持向量机应用领域和研究进展 Support Vector Regression SVM的程序与工具箱 参考文献 1 引言(1/13) 1 引言 基于数据的机器学习是现代智能技术中的重要方面,其本质就是从观测数据出发寻找统计规律,并对未来进行预测. 人的智慧中一个很重要的方面是从实例学习的能力,通过对已知事实的分析总结出规律,预测不能直接观测的事实。 在这种学习中,重要的是要能够举一反三,即利用学习得到的规律,不但可以较好地解释已知的实例,而且能够对未来的现象或无法观测的现象做出正确的预测和判断。 我们把这种能力叫做泛化(推广)能力。 1 引言(2/13) 在人们对机器智能的研究中,希望能够用机器(计算机)来模拟这种学习能力,这就是我们所说的基于数据的机器学习问题,或者简单地称作机器学习问题。 我们的目的是,设计某种(某些)方法,使之能够通过对已知数据的学习,找到数据内在的相互依赖关系,从而对未知数据进行预测或对其性质进行判断。 同样,在这里,我们最关心的仍是泛化能力问题。 迄今为止,关于机器学习还没有一种被共同接受的理论框架,关于其实现方法大致可以分为三种: 经典的(参数)统计估计方法 经验非线性方法,如ANN 统计学习理论 1 引言(3/13) A. 第一种是经典的(参数)统计估计方法. 包括模式识别、NN等在内,现有机器学习方法共同的重要理论基础之一是统计学. 参数方法正是基于传统统计学的,在这种方法中,参数的相关形式(模型结构)是已知的,训练样本用来估计参数的值. 这种方法有很大的局限性, 首先,它需要已知样本分布形式,这需要花费很大代价. 还有,传统统计学研究的是样本数目趋于无穷大时的渐近理论,即当样本趋向于无穷多时的统计性质. 现有学习方法也多是基于样本数大这一假设. 1 引言(4/13) 但在实际问题中,样本数往往是有限的,有时还十分有限。 虽然人们实际上一直知道这一点，但传统上仍以样本数目无穷多为假设来推导各种算法，希望这样得到的算法在样本较少时也能有较好的(至少是可接受的)表现。 因此当样本数有限时,一些本来在样本数目无穷多为假设来推导的,理论上很优秀的学习方法实际中表现却可能不尽人意,可能表现出很差的泛化能力。 其中，近年来经常可以听到人们谈论的所谓ANN过学习问题就是一个典型的代表. 1 引言(5/13) B. 经验非线性方法,如ANN. 这种方法利用已知样本建立非线性模型,克服了传统参数估计方法的困难. 但是,这种方法缺乏一种统一的数学理论. 1 引言(6/13) C. 统计学习理论. 针对小样本学习问题及泛化能力差等机器学习问题，实际上人们一直在努力解决此类问题。 但是，其中多数工作集中在对已有(基于传统统计学原则的)方法的改进和修正，或者利用启发式方法设计某些巧妙的算法。 在人类即将迈进一个新世纪的时候，人们开始逐渐频繁地接触到一个词，就是“统计学习理论” (Statistical Learning Theory, SLT) 。 SLT创始人V.Vapnik从60年代开始致力于有限样本统计理论的研究,在70年代就已经建立了其基本理论体系，成为机器学习问题研究的新的思路，有着诱人的前景。 1 引言(7/13) 1 引言(8/13) SLT指出经验风险最小并不能保证期望风险最小; 提出了结构风险最小化原理; 给出了核心概念VC维,指出为了最小化期望风险必须同时最小化经验风险和VC维; SLT从七十年代末诞生,到九十年代之前都处在初级研究和理论准备阶段,近几年才逐渐得到重视,其本身也趋向完善,并在1992直接产生了支持向量机(Support Vector Machine, SVM) 这一将这种理论付诸实现的有效的通用机器学习方法. 或许是由于SLT为人们系统研究有限样本情况下机器学习问题提供了有力的理论基础,或许更是因为在这一基础上的SVM方法所表现出的令人向往的优良特性,人们开始迅速重视起这一早在20年前就该重视的学术方向。 1 引言(9/13) SVM就是基于SLT的一种模式识别与机器学习的方法,它是SLT中最新的内容,也是最实用的部分. 定义( Cristianini Shawe-Taylor ,2000 ) Support Vector Machines are a system for efficiently training linear learning machines in kernel-induced feature spaces, while respecting the insights of generalis