5 评估假设.pptVIP

2003.12.18 主要内容 学习问题的框架 有一所有可能实例的空间X，其中定义了多个目标函数，我们假定X中不同实例具有不同的出现频率。一种合适的建模方式是，假定存在一未知的概率分布D，它定义了X中每一实例出现的概率。 学习任务是在假设空间上学习一个目标概念，训练样例的每一个实例按照分布D独立地抽取，然后连同正确的目标值提供给学习器。 评估假设的问题 给定假设h和包含若干按D分布抽取的样例的数据集，如何针对将来按同样分布抽取的实例，得到对h的精度最好估计 这一精度估计的可能的误差是多少 样本错误率和真实错误率 离散值假设的置信区间 先考虑离散值假设的情况，比如： 样本S包含n个样例，它们的抽取按照概率分布D，抽取过程是相互独立的，并且不依赖于假设h n=30 假设h在这n个样例上犯了r个错误 根据上面的条件，统计理论可以给出以下断言： 没有其他信息的话，真实错误率errorD(h)最可能的值是样本错误率errorS(h)=r/n 有大约95%的可能性，真实错误率处于下面的区间内： 举例说明 数据样本S包含n=40个样例，并且假设h在这些数据上产生了r=12个错误，这样样本错误率为errorS(h)=12/40=0.3 如果没有更多的信息，对真实错误率errorD(h)的最好的估计即为0.3 如果另外收集40个随机抽取的样例S’，样本错误率errorS’(h)将与原来的errorS(h)存在一些差别 如果不断重复这一实验，每次抽取一个包含40样例的样本，将会发现约95%的实验中计算所得的区间包含真实错误率 将上面的区间称为errorD(h)的95%置信区间估计 置信区间表达式的推广 常数1.96是由95%这一置信度确定的 定义zN为计算N%置信区间的常数（取值见表5-1），计算errorD(h)的N%置信区间的一般表达式（公式5.1）为： 可以求得同样情况下的68%置信区间，从直觉上可以看出68%置信区间要小于95%置信区间，因为减小了要求errorD(h)落入的概率 置信区间表达式的推广（2） 公式5.1只能应用于离散值假设，它假定样本S抽取的分布与将来的数据抽取的分布相同，并且假定数据不依赖于所测试的假设 公式5.1只提供了近似的置信区间，这一近似在至少包含30个样例，并且errorS(h)不太靠近0或1时很接近真实情况 判断这种近似是否接近真实的更精确规则是： 统计学中的基本定义和概念 随机变量 某随机变量Y的概率分布 随机变量Y的期望值或均值 随机变量的方差 Y的标准差 二项分布 正态分布 中心极限定理 估计量 Y的估计偏差 N%置信区间 错误率估计和二项比例估计 样本错误率和真实错误率之间的差异与数据样本大小的依赖关系如何？ 测量样本错误率相当于在作一个有随机输出的实验 从分布D中随机抽取n个独立的实例，形成样本S，然后测量样本错误率errorS(h) 将实验重复多次，每次抽取大小为n的不同的样本Si，得到不同的 ，取决于Si的组成中的随机差异 被称为一随机变量 错误率估计和二项比例估计（2） 设想要运行k个这样的随机实验，得到k个随机变量值，以图表的形式显示观察到的每个错误率值的频率 当k不断增长，该图表将呈现如表5-3所显示的分布，称为二项分布 二项分布 有一非均质硬币，要估计在抛硬币时出现正面的概率p 投掷硬币n次并计算出现正面的次数r，那么p的一个合理估计是r/n 如果重新进行一次实验，生成一个新的n次抛硬币的集合，出现正面的次数r可能与前不同，得到对p的另一个估计 二项分布描述的是对任一可能的r值，这个正面概率为p的硬币抛掷n次恰好出现r次正面的概率 二项分布（2） 从抛掷硬币的随机样本中估计p与在实例的随机样本上测试h以估计errorD(h)是相同的问题 一次硬币抛掷对应于从D中抽取一个实例并测试它是否被h误分类 一次随机抛掷出现正面的概率p对应于随机抽取的实例被误分类的概率errorD(h) 二项分布给出了一个一般形式的概率分布，无论用于表示n次硬币出现正面的次数还是在n个样例中假设出错的次数 二项分布的具体形式依赖于样本大小n以及概率p或errorD(h) 应用二项分布的条件 有一基本实验，其输出可被描述为一随机变量Y，随机变量Y有两种取值 在实验的任一次尝试中Y=1的概率为常数p，它与其他实验尝试无关，因此Y=0的概率为1-p p为预先未知，面临的问题是如何估计 基本实验的n次独立尝试按序列执行，生成一个独立同分布的随机变量序列 随机变量R表示n次实验中出现Yi=1的次数，它取特定值r的概率由二项分布给出 均值 期望值是重复采样随机变量得到的值的平均 定义：考虑随机变量Y可能的取值为y1...yn，Y的期望值E[Y]定义如下： 如果随