01学习问题的表示.pptVIP

统计学习理论 Chapt 1: 学习问题的表示 Outline 函数估计模型 风险最小化问题 三种主要的学习问题 学习问题的一般表示 经验风险最小化归纳原则 学习理论的四个部分 非正式推导和评述——1 函数估计模型 样本学习的一般模型 产生器G, F(x) 训练器S, F(y︱x) 学习机器LM,函数集f(x,a) 学习问题的目的 从给定的函数集f中选出能够最好地逼近训练器响应的函数； 训练集F(x,y)= F(x) F(y︱x) 由（x1y1），… （xmym）组成 风险最小化问题 损失函数 风险泛函 目的：使得风险泛函最小的函数 三种主要的学习问题 模式识别 训练器的输出为0/1 f(x,?), ???为指示函数集 损失函数 分类错误 学习问题：在概率测度F(x,y)未知，但是训练数据已知情况下，寻找使分类错误的概率最小的函数 三种主要的学习问题 回归估计 训练器的输出实数值 f(x,?), ???为实数函数 回归函数 损失函数 学习问题：在概率测度F(x,y)未知，但是训练数据已知情况下， 对采用平方误差损失函数的风险泛函最小化 三种主要的学习问题 密度估计 密度函数集ｐ(x,?), ??? 损失函数 学习问题：在相应的概率测度F(x,y)未知，但是给出了独立同分布数据x1……xl的情况下，使风险泛函最小化 学习问题的一般表示 定义在空间Z上的概率测度F(z) 函数的集合Q(z,?), ??? 独立同分布样本z1……zl 风险泛函 经验风险最小化归纳原则 ERM归纳原则 经验风险泛函 用使得经验风险最小的函数Q(z,?l)来逼近使风险泛函最小的函数Q(z,?0) 经验风险最小化归纳原则 ERM原则的体现 最小二乘方法 最大似然方法（等价） 学习理论的四个部分 研究的四个问题 一个基于ERM原则的学习过程具有一致性的条件（充分必要条件）是什么？ 这个学习过程收敛的速度有多快？ 如何控制这个学习过程的收敛速度（推广能力）？ 怎样构造能够控制推广能力的算法？ 学习理论的四个部分 四个理论 学习过程一致性理论 学习过程收敛速度的非渐近理论 控制学习过程的推广能力的理论 构造学习算法的理论 非正式推导和评述——1 解决学习问题的传统模式 密度估计的非参数方法 用有限数量信息解决问题的基本原则 基于经验数据的风险最小化模型 随机逼近推理 非正式推导和评述——1 第一章中给出的学习问题的表示反映了两个主要的要求： (1)从一个宽的函数集合中估计待求的函数； (2)在有限数量的例子的基础上估计待求的函数。 在(创建于20年代和30年代的)传统理论体系中发展起来的方法没有考虑到这些要求。 因此，在60年代，人们在两个方向上进行了很大的努力，一是把传统的结果推广到范围更宽的函数集合，二是针对小样本数目改进已有技术。 下面我们将对其中的一些研究进行订论。 密度估计问题（最大似然方法） 在传统理论体系的框架中，函数估计的所有模型都是基于最大似然方法的。它成了传统体系下的一个归纳引擎。 密度估计问题（最大似然方法） 问题的描述设p(x,?), ???,是一个函数密度集合，设未知的密度p(x,?0)属于这个函数集合 独立同分布数据：x1……xl 最大似然方法 在20年代，Fisher(1952)研究出了估计密度函 数的未知参数的最大似然方法，提出用使泛函 最大的参数取值来逼近未知的参数。 模式识别（判别分析）问题 Fisher的模型---- 存在两类数据 两个不同的密度p1(x,?*)， p2(x,?*) 设第一类数据出现的概率为q1 第二类出现的概率为1-q1 决策规则: 使错误的概率最小 模式识别（判别分析）问题 Fisher的模型---- 存在两类数据 两个不同的密度p1(x,?*)， p2(x,?*) 设第一类数据出现的概率为q1 第二类出现的概率为1-q1 决策规则: 使错误的概率最小 模式识别（判别分析）问题 决策规则: 使错误的概率最小 如果知道这两个统计规律和概率q1的值，可以立即构造出这样一个规则：若向量x属于第一类的概率不小于它属于第二类的概率，决策规则就认为这个向量属于第一类。 这个决策规则可以取得最小的错误率。所谓x属于第一类的概率不小于它属于第二类的概率、就是下面的不等式成立： 模式识别（判别分析）问题 这一决策规则可以表示成下面的等价形式： 称作判别函数(判别规则)，它把第一类的样本赋值为1，而把第二类样本赋值为-1； 为了得到这一判别函数，必须估计两个概率密度：p1(x,?*)和 p2(x,?*)； 在传统的体系中，人们用最大似然法来估计这两个密度中的参数?*和?* 。 回归估计模型 在传统体系中，回归估计是建立在另