机器学习之评估假设分析.pptVIP

批京种技大学自蚰化学院 第5章算法的评估与比较 Evaluating hypotheses Machine Learning 批京种技大学自蚰化学院 概述 对学习算法的精度进行评估是机器学习中的基本问题 本章用统计方法估计算法精度,主要解决以下三个问题 -已知一个假设在有限数据样本上观察到的精度,怎样估计它在其它 实例上的精度? 即如何评估一个学习算法在给定问题上的期望误差率? 如果一个算法在某些数据样本上好于另一个,那么一般情况下该算 法是否更准确? 即给定两个学习算法,如何就给定应用来判断一个算法的误差率比 另一个低。 当数据有限时,怎样高效地利用这些数据,通过它们既能学习到假 设,还能估计其精度? ·统计的方法,结合有关数据基准分布的假定,可以用有限 数据样本上的观察精度来逼近整个数据分布上的真实精度。 Machine Learning 批京种技大学自蚰化学院 动机 对学习到的假设进行尽可能准确地性能评估十分重要 为了知道是否可以使用该假设 是许多学习方法的重要组成部分 当给定的数据集有限时,要学习一个概念并估计其将 来的精度,存在两个很关键的困难 估计的困难 ·使用与训练样例和假设无关的测试样例 估计的方差 即使假设精度在独立的无偏测试样例上测量,得到的精度仍可能与 真实精度不同 测试样例越少,产生的方差越大 重点讨论对学到的假设的评估、对两个假设精度的比 较、两个学习算法精度的比较 Machine Learning 批京种技大学自蚰化学院 学习问题的框架 有一所有可能实例的空间X,其中定义了多 个目标函数,假定X中不同实例具有不同的 出现频率。一种合适的建模方式是,假定存 在一未知的概率分布D,它定义了X中每一 实例出现的概率。 学习任务是在假设空间上学习一个目标概念, 训练样例的每一个实例按照分布D独立地抽 取,然后连同正确的目标值提供给学习器。 Machine Learning 批京种技大学自蚰化学院 评估假设的问题 给定假设h和包含若干按D分布抽取的样例的 数据集,如何针对将来按同样分布抽取的实 例,得到对h的精度最好估计 这一精度估计的可能的误差是多少 Machine Learning 批京种技大学自蚰化学院 样本错误率和真实错误率 定义:假设h关于目标函数和数据样本S的样本错 误率(标记为eror:h) S eror(h)=∑6(f(x,(x) 1f(x)≠h(x) (f(x),h(x)) 0 otherwise 定义:假设h关于目标函数和分布D的真实错误率 (标记为 error(h) error(h)= Prlf(x)*h(x)] r∈D Machine Learning 批京种技大学自蚰化学院 样本错误率和真实错误率(2) 想知道的是假设的真实误差,因为这是在分 类未来样例时可以预料到的误差。 能测量的只是样本错误率,因为样本数据是 我们知道的。 要考虑的问题是:样本错误率在何种程度上 提供了对真实错误率的估计? Machine Learning 批京种技大学自蚰化学院 离散值假设的置信区间 ·先考虑离散值假设的情况,比如 样本S包含n个样例,它们的抽取按照概率分布D,抽取 过程是相互独立的,并且不依赖于假设h n=30 假设h在这n个样例上犯了r个错误 根据上面的条件,统计理论可以给出以下断言: 没有其它信息的话,真实错误率 error((h)最可能的值是 样本错误率eror(h=r 有大约95%的可能性,真实错误率处于下面的区间内: em()1+196m0(b)-m() Machine Learning 批京种技大学自蚰化学院 举例说明 数据样本S包含n=40个样例,并且假设h在这些数据上产生 了r=12个错误,这样样本错误率为 terrors(h)=12/40=0.3 如果没有更多的信息,对真实错误率 error(h)的最好的估 计即为03 ·如果另外收集40个随机抽取的样例S,样本错误率 error(h) 将与原来的err存在一些差别 如果不断重复这一实验,每次抽取一个包含40样例的样本, 将会发现约95%的实验中计算所得的区间包含真实错误率 将上面的区间称为 error(h)的95%置信区间估计 Machine Learning 批京种技大学自蚰化学院 置信区间表达式的推广 常数1.96是由95%这一置信度确定的 定义乙为计算N%置信区间的常数(取值见下),计 为.On/h)的N%置信区间的一般表达式(公式51) 算e erroi eroF(h)±xN error(h( (51) confidence 50%68%80%90%95%98%99% Z-Score 0.671.001.281.641.9 2332.58 可以求得同样情况下的68%置信区间,从直觉上可 以看出68