贝叶斯估计相关.ppt

贝叶斯估计 BayesEstimation ;例子：;几个学派（1）;频率学派的观点;几个学派（2）;贝叶斯学派的观点;批评1：置信区间;批评2：评价方法;回忆贝叶斯规则;贝叶斯方法;总体依赖于参数? 的概率函数在贝叶斯统计中记为P (x | ? )，它表示在随机变量θ取某个给定值时总体的条件概率函数； 根据参数? 的先验信息可确定先验分布?(? )； 从贝叶斯观点看，样本 x1, x2 , …, xn 的产生分两步进行:首先从先验分布?(? )产生一个样本?0，然后从P (x |?0)中产生一组样本。这时样本的联合条件概率函数为 ，这个分布综合了总体信息和样本信息； ;?0 是未知的，它是按先验分布?(? )产生的。为把先验信息综合进去，不能只考虑?0，对?的其它值发生的可能性也要加以考虑，故要用?(? )进行综合。这样一来，样本x1 , …, xn和参数? 的联合分布为: h(x1, x2 , …, xn, ? ) = p(x1, x2 , …, xn?? )?(? )， 这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了；;在没有样本信息时，人们只能依据先验分布对? 作出推断。在有了样本观察值 x1, x2 , …, xn 之后，则应依据 h(x1, x2 , …, xn , ? )对? 作出推断。由于 h(x1,x2 ,…,xn , ? ) =?(? ? x1,x2 ,…,xn )m(x1,x2 ,…,xn)， 其中 是x1, x2 , …, xn 的边际概率函数，它与? 无关，不含? 的任何信息。因此能用来对? 作出推断的仅是条件分布?(? ? x1, x2 , …, xn)，它的计算公式是 ; 这个条件分布称为? 的后验分布，它集中了总体、样本和先验中有关? 的一切信息。 ;由此可以写出x与? 的联合分布 其中 ， 。若记 则有; 注意到A,B,C均与? 无关，由此容易算得样本的边际密度函数 应用贝叶斯公式即可得到后验分布 这说明在样本给定后，? 的后验分布为 N(B/A,1/A)，即 ; 后验均值即为其贝叶斯估计： 它是样本均值 与先验均值? 的加权平均。;例子：　正态分布;置信区间估计：; 若后验分布?(? ?x)与?(? )属于同一个分布族，则称该分布族是? 的共轭先验分布(族)。 二项分布b(n, ? )中的成功概率? 的共轭先验分布是贝塔分布Be(a,b)； 泊松分??P(? )中的均值? 的共轭先验分布是伽玛分布Ga(?,?)； 在方差已知时，正态均值? 的共轭先验分布是正态分布N(?,? 2); 在均值已知时，正态方差? 2的共轭先验分布是倒伽玛分布IGa(?,?)。 ;先验知识从哪儿来？;反对贝叶斯学派的观点;综上所述;综上所述