经验贝叶斯与James.pdf

经验贝叶斯与James-Stein 估计量 大规模推断讨论班 Charles Stein 在 1955 年证明, 使用 100 多年的极大似然估计方法，对于超过二维的高斯模型 是不容许的（即存在比极大似然更好的估计），这一论断震惊了当时整个统计界。虽然基于某些原 因，极大似然估计法仍被广泛应用，但Stein 估计已经从根本上指出了新的视角，即用经验贝叶斯 的方法解决高维统计推断问题，包括估计、检验以及预测。经验贝叶斯是一些列方法的统称，我们 以Stein 估计为例来展示其应用。 Stein(1956) 发表后，学者并没有意识到其与经验贝叶斯的关联，但 Stein 的工作仍可看做是经 验贝叶斯理论的滥觞。经验贝叶斯理论另外一个源头的开创者是 Herbert Robbins，他创造了“经 验贝叶斯”这个学术名词, 试图展示频率论学派也可以在像贝叶斯学派那样进行有效的大规模并行 [1] 研究（即大规模推断） 。然而，大规模并行研究在20 世纪 50 年代很少被提及，而 Stein 估计却 可以在小的数据集上得到漂亮的应用，所以Robbins 的理论并没有像Stein 估计那样大的影响。 [2] 这一切在 21 世纪发生了改变，最新的科学技术提出了对并行研究的需求 （例如，以基因芯 片为例，我们可以获取 100 名实验者（50 名正常人与 50 名患病者）的基因数据，每个人的基因长 度为 6000，我们意在寻找那些在实验者与正常人之间区别较大的基因，也就是要对每个基因做假设 检验，检验它在正常人群体与患病者群体之间是否不同，现在的问题是，我们不是有一个基因要分 析（检验），而是有6000 个基因要分析（检验），这就是所谓的并行研究），Robbins 的思想处理这 类问题得心应手，而其思想将在本书随后的章节贯穿始终。 Stein 的理论关注估计，而Robbins 的理论侧重假设检验，在2.6 节我们会看到上述两种理论 是紧密联系融为一体的，是经验贝叶斯理论的一体两面。经验贝叶斯理论使得参数估计与假设检 验，频率学派与贝叶斯学派方法的界限变得模糊。 1 贝叶斯公式与多元正态分布 这一节简要的回顾一下贝叶斯方法在多元正态估计方面的应用。贝叶斯公式体现了简单却意义 深远的统计思维。虽然通常是在离散情形下表达贝叶斯公式，但是也可以清晰地从概率密度的角度 来阐述它。设定模型如下： ∼ 和 | ∼ 。 是未知参数向量 的先验分布， 是在给定 时的条件概率密度。 在观测值z 条件下，可以利用贝叶斯公式，求解 的条件概率分布（它的后验分布），即 | 其中， 是z 的边际分布，即 本文作者为大规模推断讨论班，成员：杨晓康、张洋、宋培培、张猛、刘博、朱祁恒和高磊. 1 经验贝叶斯与James-Stein 估计量 ∫ ， (1.3) 是计算（1.2）式最困难的部分，但通常并没有必要计算它。一般情况下，知道后验分布 | （即先验分布 和似然函数 的乘积）成比例（可参照下面的(1.4) 式） 就足够了。因为对于参数的任意两个可能取值 、 ，由（1.2）可得， | |