统计学习理论本质.pptVIP

第七章 统计学习理论的本质 7.1 统计学习的本质 系统S为研究对象，通过一系列的观测样本来求得学习机LM，使得LM的输出 能够尽量准确的预测S的输出y。 (x1,y1)，(x2,y2)，…，(xn,yn) 风险 学习机LM的输出 与输入x之间可以看作是一个函数关系： 一般需要将函数 限定在特定的一组函数 中求取。 定义风险： 均方误差： 似然函数： 期望风险 y与x之间存在一定的依赖关系，可以用一个未知的联合概率F(x,y)描述。 期望风险定义为： 统计学习的目的就是要寻找到一个最优的函数f(x,w*)，使得R(w*)最小。 经验风险 期望风险一般来说无法计算，在工程上转而计算经验风险： 求取最优参数w*，使得经验风险Remp(w*)最小。 当学习过程具有一致性时，统计学有如下关系： 期望风险与经验风险的关系 7.2 函数集的VC维与推广性的界 统计学习的推广能力不仅同训练样本数n有关系，而且同学习机的函数集选择有关系，“简单的”的函数集合推广能力强，“复杂”的函数集合推广能力差。 当函数集过于“复杂”时，很容易产生“过学习”现象：对于训练样本风险很小，而对非训练样本风险却很大。 过学习 VC维 打散：如果存在一个有h个样本的样本集能够被一个函数集中的函数按照所有可能的2h种形式分为两类，则称函数集能够