贝叶斯推理详解.ppt

Chp11：贝叶斯推断 内容: 贝叶斯观点和贝叶斯方法 贝叶斯推断 vs. 频率推断 贝叶斯观点和贝叶斯方法 从频率到信念 频率学派的观点 到目前为止我们讲述的都是频率（经典的）统计学 概率指的是相对频率，是真实世界的客观属性。 参数是固定的未知常数。由于参数不会波动，因此不能对其进行概率描述。 统计过程应该具有定义良好的频率稳定性。如：一个95％的置信区间应覆盖参数真实值至少95％的频率。 贝叶斯学派的观点 贝叶斯推断采取了另外一个不同的立场： 概率描述的是主观信念的程度，而不是频率。这样除了对从随机变化产生的数据进行概率描述外，我们还可以对其他事物进行概率描述。 可以对各个参数进行概率描述，即使它们是固定的常数。 为参数生成一个概率分布来对它们进行推导，点估计和区间估计可以从这些分布得到 贝叶斯方法 贝叶斯推断的基本步骤如下： 选择一个概率密度函数 ，用来表示在取得数据之前我们对某个参数 的信念。我们称之为先验分布。 选择一个模型 （在参数推断一章记为 ） 来反映在给定参数 情况下我们对x的信念。 当得到数据 X1, X2,…Xn 后，我们更新我们的信念并且计算后验分布 。 从后验分布中得到点估计和区间估计。 回忆贝叶斯规则 亦称贝叶斯定理 条件概率 利用贝叶斯规则将数据和参数的分布联合起来 似然函数 假设我们有n个IID观测 ，记为 ,产生的数据为 ，记为 ，我们用如下公式替代 现在似然函数真正解释为给定参数下数据的概率 后验概率 因此后验概率为 其中 被称为归一化常数 normalizing constant 。该常数经常被忽略，因为我们关心的主要是参数 的不同值之间的比较。所以 也就是说，后验和似然函数与先验的乘积成正比 贝叶斯点估计 后验的均值 是一个常用的点估计 L2损失下的贝叶斯规则 极大后验估计 maximum a posteriori，MAP 是使后验 最大的 的值： 是另一个常用的点估计 0-1损失下的贝叶斯规则 贝叶斯置信区间估计 为了得到贝叶斯区间估计，我们需找到a和b，使得 令 因此 C称为 后验区间。 注意：在多次试验中,并不保证θ在 1 ? α 100% 的次数会落在后验区间内。事实上，在复杂的高维模型中，当样本数很少时，覆盖概率可能接近于0。 注意： 是随机的 例：Bernoulli I 令 ，假设先验为均匀分布 ，根据贝叶斯公式，后验为 其中 为成功的次数。 例：Bernoulli I 为了得到后验的均值，我们必须计算 在这个例子中可以解析计算。后验恰好为Beta分布 其中参数 ， ，均值为 例：Bernoulli I p的极大似然估计为 ，为无偏估计。 贝叶斯估计还可以写成 其中 为先验的均值， 例：Bernoulli II 现在假设先验不是均匀分布，而是 则后验为Beta分布，参数为 和 ，即 后验的均值为 其中 为先验的均值。 先验和后验为相同的分布族：共轭 如例子中的Beta分布 例：正态分布 令 ，为简单起见，假设 已知，并假设先验为 例：正态分布 将二者相乘，去掉一些常数项，最后得到一个正态分布形式的核 最后， θ的后验为 其中 为MLE 的标准误差。 例：正态分布 当 时， ， 当n很大时，后验近似为 当n固定而 时，对应先验趋近于均匀分布，上述结论也成立 例：正态分布 计算后验区间 ，使得 所以 且 因此， 由于 ，所以 最后95%的贝叶斯后验区间为 由于 ， ，也可用 近似，同频率置信区间 参数的函数 问题：已知 的贝叶斯后验分布为 ，求 的后验分布 两种方法： 利用CDF的定义，先求 的CDF ，然后求后验密度 ，其中CDF为 仿真/模拟方法 仿真 Simulation 可以通过仿真而不是解析计算来得到点估计和区间估计。假设我们抽取样本 则 的直方图可以近似后验密度 后验的均值 近似为 后验的 置信区间为 ，其中 为样本 的 样本分位数 quantile 一旦从 中抽取样本 ，令 则 为来自 。这样避免了解析计算 例：Bernoullil  抽样： 令 则 为 的IID，用直方图方法可以估计 MLE和贝叶斯 令 为 的极大似然估计，标准误差为 在合适的正则条件下，后验均值的渐近分布为 也就是说， 另外，若 为渐近频率的 置信区间，则 也是贝叶斯后验的 区间： MLE和贝叶斯 定义 则 MLE和贝叶斯 将先验也展开 MLE和贝叶斯 定义 结合展开，得到 MLE和贝叶斯 后验简化为 结论： 当n相对参数数目很大时，如果先验符合真正的知识，则贝叶斯区间和频率区间相同。 当数据越多时，先验的影响越弱。 先验知识从哪儿来呢？ 我们可能在