第3章先验分布的确定.ppt

总结 1.了解直方图法 2.选定先验密度函数形式再估计其超参数 3.理解定分度法与变分度法 第三章 先验分布的确定 例3.19 设总体X服从指数分布 ，其密度函数为 其中σ是尺度参数 设(x1,…,xn)是来自该指数分布的一个样本.σ的先验分布取无信息先验分布. 四、用Fisher信息阵确定无信息先验分布 设(x1,…,xn)是来自密度函数p(x|θ)的一个样本.这里θ=（θ1,…,θp)是p维参数向量。在对?无先验信息可用时，Jeffreys用Fisher信息阵的行列式的平方根作为θ的无信息先验分布。这样的无信息先验分布通常称为Jeffreys先验。 其步骤如下： （1）写出样本的对数似然函数 （2）求样本的信息阵 其步骤如下： （1）写出样本的对数似然函数 （2）求样本的信息阵 在单参数(p=1)场合, (3)Θ的无信息先验密度为 在单参数(p=1)场合, 例3.22 关于成功概率的无信息先验分布至今已有4种 π1(θ)=1 ——正常 π2(θ)=θ-1(1-θ)-1 ——不正常 π3(θ)=θ-1/2(1-θ)-1/2 ——正则化后可成为正常 π4(θ)=θθ(1-θ)(1-θ) ——正则化后可成为正常 注意：1.一般说来，无信息先验不是唯一的. 但它们对贝叶斯统计推断的影响都很小，很少对结果产生较大的影响 2.任何无信息先验都可以采用。 总结 1. 掌握贝叶斯假设 2.掌握位置参数和尺度参数的无信息先验分布 3.会用Fisher信息阵确定无信息先验 作业3.6，3.8（1）（3）（5） §3.5 多层先验 一、多层先验 1.定义 当所给先验分布中超参数难于确定时，可以对超参数再给出一个先验，第二个先验称为超先验。由先验和超先验决定的一个新先验称为多层先验。 例3.23 设对某产品的不合格品率了解甚少，只知道它比较小。现需要确定θ的先验分布。决策人经过反复思考，最后把他引导到多层先验上去，他的思路是这样的： (1)开始他用(0,1)上的均匀分布U(0,1)作为θ的先验分布。 (2)后来觉得不妥，因为此产品的不合格品率θ比较小，不会超过0.5，于是他改用(0,0.5)上的均匀分布作为θ的先验分布。 (3)在一次业务会上，不少人对上限0.5提出各种意见，有人问：“为什么不把上限定为0.4？”他讲不清楚，有人建议：“上限很可能是0.1”，他也无把握，但这些问题促使他思考，最后他把思路理顺了，提出如下看法： θ的先验分布为U(0,λ),其中λ为超参数，要确切地定出λ是困难的，但预示它的区间倒是有把握的，根据大家的建议，他认为λ是在区间(0.1,0.5)上的均匀分布U(0.1,0.5)。 （4）最后决定的先验是什么呢？ 2.多层先验的确定方法 (1)对未知参数θ给出一个形式已知的密度函数作为先验分布，即θ~π1(θ|λ),其中λ是超参数，Λ是其取值范围。 (2)对超参数λ再给出一个超先验π2(λ) . (3)多层先验的一般表示形式为 任一个贝叶斯分析都是对进行的π(θ) 。 说明： 1.在理论上并没有限制多层先验只分两步. 2.对第二步π2(λ)用主观概率或用历史数据给出是有困难的，因为λ常是不能观察的，甚至连间接观察都是难于进行的，很多人用无信息先验作为第二步先验是一种好的策略 3.多层先验常常用在当一步给出先验π(θ)没有把握时，那用两步先验比硬用一步先验所冒的风险要小一些。 二、多层模型 含部分信息的最大熵验前 含部分信息的最大熵验前 含部分信息的最大熵验前例1 含部分信息的最大熵验前例2 含部分信息的最大熵验前例2 §3.1 主观概率§3.2 利用先验信息确定先验分布§3.3 利用边缘分布m(x)确定先验密度§3.4 无信息先验分布§3.5 多层先验 利用边缘分布确定验前 利用边缘分布确定验前 利用矩方法确定先验分布 利用矩方法确定先验分布 利用矩方法确定先验分布 §3.3利用边缘分布m(x)确定先验密度 一、边缘分布m(x) 设总体X的密度函数为p(x|θ),它含有未知参数θ，若θ的先验分布选用形式已知的密度函数π(θ)，则可算得X的边缘分布(即无条件分布) 当先验分布含有未知参数时，譬如π(θ)=π(θ|λ)，那么边缘分布m(x)依赖于λ，可记为m(x|λ). 例3.10 设总体X～N(?, σ2) 其中σ2已知。 取另一正态分布N(μπ,τπ2)作为正态均值?的先验分布 则可以算得X的边缘分布为N(μπ,τπ2+σ2) 二、混合分布 设随机变量X以概率π在总体F1中取值，以概率1-π在总体F2中取值.若F(x|θ1)和F(x|θ2)分别是这两个总体的分布函数，则X的分布函数为 或用密度函数或