机器学习之评估假设.pptxVIP

机器学习之评估假设

概述对学习算法得精度进行评估就是机器学习中得基本问题本章用统计方法估计算法精度,主要解决以下三个问题:已知一个假设在有限数据样本上观察到得精度,怎样估计它在其它实例上得精度？即如何评估一个学习算法在给定问题上得期望误差率？如果一个算法在某些数据样本上好于另一个,那么一般情况下该算法就是否更准确？即给定两个学习算法,如何就给定应用来判断一个算法得误差率比另一个低。当数据有限时,怎样高效地利用这些数据,通过它们既能学习到假设,还能估计其精度？统计得方法,结合有关数据基准分布得假定,可以用有限数据样本上得观察精度来逼近整个数据分布上得真实精度。

动机对学习到得假设进行尽可能准确地性能评估十分重要为了知道就是否可以使用该假设就是许多学习方法得重要组成部分当给定得数据集有限时,要学习一个概念并估计其将来得精度,存在两个很关键得困难:估计得困难使用与训练样例与假设无关得测试样例估计得方差即使假设精度在独立得无偏测试样例上测量,得到得精度仍可能与真实精度不同。测试样例越少,产生得方差越大重点讨论对学到得假设得评估、对两个假设精度得比较、两个学习算法精度得比较

学习问题得框架有一所有可能实例得空间X,其中定义了多个目标函数,假定X中不同实例具有不同得出现频率。一种合适得建模方式就是,假定存在一未知得概率分布D,它定义了X中每一实例出现得概率。学习任务就是在假设空