统计学bootstrap.ppt

* Bootstrap失败的一个例子 ，我们感兴趣的统计量 为 的CDF用G表示 则 的pdf为 * Bootstrap失败的一个例子（续） 对非参数bootstrap，令 则 所以 ，非参数bootstrap不能很好地模拟真正的分布 * Bootstrap失败的一个例子（续） 假设样本数目n=10，样本为 ，取参数 X = (0.5729,0.1873,0.5984,0.2883,0.8722,0.4320,0.4896,0.7106,0.2754,0.7637) 非参数bootstrap复制 的直方图 B=1000，最高峰为 理论结果： * Bootstrap失败的一个例子 为什么失败？ EDF 不是真正分布 的很好近似 为了得到更好的结果，需要F的参数知识或者 的平滑性 参数化的bootstrap表现很好，能很好模拟真正的分布 * Bootstrap的收敛性 给定n个IID数据 ，要求 当 ， 收敛于F 为 的嵌入式估计 统计函数的平滑性 平滑函数： 均值、方差… 不平滑函数：数据的一个小的变化会带来统计量的很大变化 顺序统计量的极值（极大值、极小值） * 参数化的bootstrap 真实世界： Bootstrap世界： 与非参数的bootstrap相比： F的先验用参数模型表示 多了一个步骤：根据数据估计参数 （参数估计），从而得到 不是经验分布函数EDF 重采样：从估计的分布 采样（产生随机数） F的先验 * 例： 非参数bootstrap失败的例子 ，取参数 ，假设样本数目n=10，样本为 X = (0.5729,0.1873,0.5984,0.2883,0.8722,0.4320,0.4896,0.7106,0.2754,0.7637) 在参数bootstrap中： F的先验： 根据数据估计F中的参数： 得到F的估计： 从分布 产生B=1000个样本 ， 得到B个 , 直方图如右图 的分布为真正的分布 * 参数化的bootstrap 当F为参数模型时，参数化的bootstrap也可用于计算方差、偏差、置信区间等 如计算方差： 0. 根据数据 估计 f 的参数 ，得到 f 的估计 1. 抽取样本 2. 计算 3. 重复步骤1和2 B次，得到 4. * 参数bootstrap Vs. 非参数的bootstrap F的先验 参数bootstrap中利用了分布F的先验，表现为一个参数模型，因此多了一个步骤，估计F模型中的参数。当先验模型正确时，参数bootstrap能得到更好的结果 而非参数bootstrap不利用F的先验知识就能得到正确的标准误差（在大多数情况下） 参数bootstrap能得到与Delta方法（计算变量的函数的方差）相当的结果，但更简单 重采样 参数bootstrap中，通过从分布 中产生随机数，得到bootstrap样本，得到的样本通常与原始样本不重合 非参数bootstrap中，通过对原始样本进行有放回采样实现对 的采样，每个bootstrap样本都是原始样本集合的一部分 二者相同的是模拟的思想 * Bootstrap（参数/非参数）不适合的场合 小样本（n太小） 原始样本不能很好地代表总体分布 Bootstrap只能覆盖原始样本的一部分，带来更大的偏差 结构间有关联 如时间/空间序列信号 因为bootstrap假设个样本间独立 脏数据 奇异点(outliers)给估计带来了变化 * 刀切法（jackknife） * 引言 Bootstrap方法并不总是最佳的。其中一个主要原因是bootstrap样本是从 产生而不是从F产生。 问题：能完全从F采样或重采样吗？