6.4贝叶斯估计.ppt

贝叶斯估计Bayes Estimation 例子： 我定点投篮，投5次，次次投中， 问：我的投篮技术如何？ 科比投篮，投100次，次次投中， 问：科比投篮技术如何？ 经典方法：矩法估计、极大似然估计 100% 但是: …… 几个学派（1） 经典学派：频率学派， 带头人：Pearson、Fisher、Neyman 观点：概率就是频率 参数就是参数 联合分布密度：p(x1,x2,..xn ; ?) 频率学派的观点 到目前为止我们讲述的都是频率（经典的）统计学 概率指的是相对频率，是真实世界的客观属性。 参数是固定的未知常数。由于参数不会波动，因此不能对其进行概率描述。 统计过程应该具有定义良好的频率稳定性。如：一个95％的置信区间应覆盖参数真实值至少95％的频率。 几个学派（2） Bayesian学派： 带头人：Bayes,Laplace,Jeffreys,Robbins 观点：频率不只是概率 存在主观概率，和实体概率可转化 参数作为随机变量 条件分布： p(x1,x2,..xn | ?) 贝叶斯学派的观点 贝叶斯推断采取了另外一个不同的立场： 概率描述的是主观信念的程度，而不是频率。这样除了对从随机变化产生的数据进行概率描述外，我们还可以对其他事物进行概率描述。 可以对各个参数进行概率描述，即使它们是固定的常数。 为参数生成一个概率分布来对它们进行推导，点估计和区间估计可以从这些分布得到 批评1：置信区间 置信区间： 解释：区间[u1,u2]覆盖u的概率 不是u位于区间的概率 缺点：u不是变量 批评2：评价方法 假设检验、参数估计等都是多次重复的结果； 想知道： 一次实验发生的可能性 回忆贝叶斯规则 亦称贝叶斯定理 条件概率 利用贝叶斯规则将数据和参数的分布联合起来 贝叶斯方法 贝叶斯推断的基本步骤如下： 选择一个概率密度函数 ，用来表示在取得数据之前我们对某个参数 的信念。我们称之为先验分布。 选择一个模型 （在此处记为 ） 来反映在给定参数 情况下我们对x的信念。 当得到数据 X1, X2,…Xn 后，我们更新我们的信念并且计算后验分布 。 从后验分布中得到点估计和区间估计。 6.4.2 贝叶斯公式的密度函数形式 总体依赖于参数? 的概率函数在贝叶斯统计中记为P (x | ? )，它表示在随机变量θ取某个给定值时总体的条件概率函数； 根据参数? 的先验信息可确定先验分布?(? )； 从贝叶斯观点看，样本 x1, x2 , …, xn 的产生分两步进行:首先从先验分布?(? )产生一个样本?0，然后从P (x |?0)中产生一组样本。这时样本的联合条件概率函数为 ，这个分布综合了总体信息和样本信息； ?0 是未知的，它是按先验分布?(? )产生的。为把先验信息综合进去，不能只考虑?0，对?的其它值发生的可能性也要加以考虑，故要用?(? )进行综合。这样一来，样本x1 , …, xn和参数? 的联合分布为: h(x1, x2 , …, xn, ? ) = p(x1, x2 , …, xn?? )?(? )， 这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了； 在没有样本信息时，人们只能依据先验分布对? 作出推断。在有了样本观察值 x1, x2 , …, xn 之后，则应依据 h(x1, x2 , …, xn , ? )对? 作出推断。由于 h(x1,x2 ,…,xn , ? ) =?(? ? x1,x2 ,…,xn )m(x1,x2 ,…,xn)， 其中 是x1, x2 , …, xn 的边际概率函数，它与? 无关，不含? 的任何信息。因此能用来对? 作出推断的仅是条件分布?(? ? x1, x2 , …, xn)，它的计算公式是 这个条件分布称为? 的后验分布，它集中了总体、样本和先验中有关? 的一切信息。 6.4.3 贝叶斯估计 基于后验分布?(?? x1, x2 , …, xn )对? 所作的贝叶斯估计有多种，常用有如下三种： 使用后验分布的密度函数最大值作为? 的点估计，称为最大后验估计； 使用后验分布的中位数作为? 的点估计，称为后验中位数估计； 使用后验分布的均值作为? 的点估计，称为后验期望估计。 用得最多的是后验期望估计，它一般也简称为贝叶斯估计，记为 。 例6.4.2 设某事件A在一次试验中发生的概率为? ，为估计? ，对试验进行了n次独立观测，其中事件A发生了X次，