统计学习理论基本知识.pdfVIP

第 2 章 统计学习理论基本知识 统计学习理论是一种专门基于小样本的统计理论，它为研究有限样本情况下 的统计模式识别和更广泛的机器学习问题建立了一个较好的理论框架，同时也发 展了一种新的模式识别方法——支持向量机，能够较好地解决小样本学习问题。  2.1  统计学习理论的核心内容 机器学习的目的是根据给定的已知训练样本求取对系统输入和输出之间的依 赖关系的估计，使它能够对未知输出作出尽可能准确的预测。机器学习问题可以 形式化地表示为：已知变量 y 与输入 x 之间存在一定的未知依赖关系，即存在一 个未知的联合概率 F(x,y ) ，机器学习就是根据 n 个独立同分布观测样本  (x ,y ),(x ,y ),...,(x ,y  )  （2.1） 1 1 2 2  n n  在一组函数 {f (x,w )} 中求一个最优的函数 f (x,w ) ，使预测的期望风险最小。  0  R(w)= Ú L(y,f (x,w))dF(x,y)  （2.2） 其中， {f (x,w )} 为预测函数集，wŒW 为函数的广义参数，故{f (x,w )} 可以表示 任何函数集； L(y,f (x,w )) 为由于用 f (x,w ) 对 y 进行预测而造成的损失。 要使式 （2.2） 定义的期望风险最小化， 必须依赖关于联合概率 F(x,y ) 的信息， 但在实际的机器学习问题中，我们只能利用已知样本 （2.1）的信息，因此期望风 险无法直接计算和最小化。 根据概率论中大数定律定理的思想，人们自然想到用算术平均代替式（2.2） 的数学期望，于是定义了  1  n  R (w)= ÂL(y ,f (x ,w) )  （2.3） emp i i  n i =1  来逼近式（2.2）定义的期望风险。由于 R (w ) 是用已知的训练样本（即经验数 emp  6  最小二乘支持向量机算法及应用研究 据）定义的，因此称作经验风险。用对参数w求经验风险 R (w ) 的最小值代替求期 emp  望风险 R(w ) 的最小值就是所谓的经验风险最小化 （Empirical  Risk  Minimization，  ERM）原则。 仔细研究经验风险最小化原则和机器学习问题中的期望风险最小化要求可以 发现，从期望风险到经验风险最小化并没有可靠的理论依据，只是直观上合理的 想当然做法。但是，经验风险最小化作为解决模式识别等机器学习问题的基本思 想仍在相当长的时间内统治了这一领域的几乎所有研究，人们多年来一直将大部 分注意力集中到如何更好地求取最小经验风险上。与此相反，统计学习理论则对 用经验风险最小化原则解决期望风险最小化问题的前提是什么、当这些前提不成 立时经验风险最小化方法的性能如何，以及是否可以找到更合理的原则等基本问 题进行了深入的研究。 统计学习理论被认为是目前针对小样本统计估计和预测学习的最佳理论，它 从理论上较系统地研究了经验风险最小化原则成立的条件、有限样本下经验风险 与期望风险的关系、如何利用这些理论找到新的学习原则和方法等问题。其主要 [8]  内容包括以下四个方面  ： （1）经验风险最小化原则