统计中的Bootstrap方法是指什么？与MonteCarlo方法有什么联系与区别？.docVIP

统计中的 Bootstrap 方法是指什么？与 Monte Carlo 方法 有什么联系与区别？ JackDiamond 的回答 (73 票 )】:风马牛不相及，举个简单的例子 (关于一个分布的平均值 )来帮你理解 bootstrap 和 Monte Carlo ，比如现在有一个分布 F...1. Bootstrap: 如 果我无法知道 F 的确切分布，手上仅有一组从 F 中 iid 抽样 的样本 (X_1, ..., X_n) ，我想检验“F的均值是否为 0”。看起来 这个不可能，因为我只有一个 ar{X} 的点估计，而并不知道 ar{X} 的分布。 Bootstrap 的魔术是现在我把 (X_1, ..., X_n)  这 个样本当做总体，从中  (有放回地  ) 重新抽样，重抽样样本大 小仍为  n，那么每一次重抽样就可以得到一个“样本均值”， 不断地重抽样我就得到了一个 ar{X} 的“分布”这。样接下来我 就可以构造 confidence interval 并做检验了。虽然实践中 bootstrap 的重抽样步骤都是用 Monte Carlo 方法来模拟重 抽样样本统计量的分布，但是严格地说这个分布原则上可以 精确计算。 而如果待估统计量比较简单， bootstrap 的结果有 时甚至可以直接用 (X_1, ..., X_n) 的某种统计量表示出来，从 而并不需要真正地“重抽样”。当然实际应用中绝大多数时候 重抽样分布的解析表达式都会太复杂，所以用模拟代替计算。 (关于 bootstrap 的更多讨论见此答案下的评论，特别是 Lee Sam 提的问题 )2. Monte Carlo: 如果我知道 F 的确切分布， 现在想计算 mean(F) ，但是 F 的形式太复杂 (或者我这人太 懒) ；另一方面我又知道如何从 F 中抽样，于是就抽一个样本 出来，拿样本均值充数。一般来说bootstrap 干的事大都跟 这个例子中干的事差不多，而 Monte Carlo 的应用要广泛和 多元化得多了。 所以两者连“区别”都谈不上，就是两码事。【赵 卿元的回答 (20 票 )】 :谢邀。 Monte Carlo 是一个更基础的想 法。在很多数学、物理或者工程问题种有很多无法写出 closed form 的表达式， 为了能得到数值上的一个解， 需要通 过随机采样的方法去估计。 Bootstrap 是重新改变统计学的 一个想法。统计推断的主体总是一个的随机变量分布。在这 个分布很复杂无法假设合理的参数模型时， bootstrap 提供了 一种非参数的推断方法，依靠的是对观测到的样本的重新抽 样（ resampling ），其实是用 empirical distribution 去近似真 正的 distribution 。这两种方法从目的到用法都完全不同，有 联系的话就是都涉及到计算机抽样。 ============================================ ==================@ 豆豆叶 觉得“ bootstrap是对 empirical distribution 的 monte carlo ”的说法更合理，我保留 意见。我认为 monte carlo 和 sampling 还是不能互为替换的。我认为 Monte Carlo 和 Bootstrap 更多的是两种思想，都是基于 random sampling 去近似某一目标。 Monte Carlo 的目标一般是一个难以计算的积分， bootstrap 的目标一般是统计 推断。【马拉轰的回答 (6 票 )】 :这个问题又该邀请 @ 赵卿元了，我先抛砖引玉吧。 Bootstrap 的中文翻译是“自助法”，由后来成为斯坦福统计系主任的 Bradley Efron 在 70 年代提出。中心思想是通过从样本中重抽样（ resample 是这么翻的 么？），构建某个估计的置信区间。抽象的说，通过样本得 到的估计并没有榨干样本中的信息， bootstrap 利用重抽样， 把剩余价值发挥在了构建置信区间上。 Bootstrap 因为其通 用性的和简便性而被广泛使用（只要有样本就可以 resampling ，就可以 bootsrap ，任何分布都能做，只是消耗 一些计算资源） 。特别是在各种统计（机器）学习算法大大 复杂了“估计”，bootstrap 的实用性太明显了。 至于 Bootstrap 和 Monte Carlo 有什么联系与区别，这两个本身不是对应的 概念，怎么个区别法呢？ Bootstrap 在重抽样的时候，一般 采用 sample with replacement 而不是穷尽所有组合，也可以认为用到了 Monte