ch3先验分布的确定.ppt

* 3.特殊情形:当先验分布中仅含二个超参数时，即 ,可用混合样本 计算其样本均值和样本方差，即： 再用样本矩代替边际分布的矩，列出如下方程 解此方程组，可得超参数 的估计 从而获得先验分布 * 解： * * * * 例3.14 设总体X~N(θ，1)，其中参数θ的先验分 布取共轭先验 。试估计两个参数的值。 解： * §3.4无信息先验分布 一、贝叶斯假设 二、位置—尺度参数族的无信息先验 三、用Fisher信息阵确定无信息先验 * 一、贝叶斯假设 1.贝叶斯假设的基本含义 无信息先验分布应选取在θ取值范围内的 均匀分布，即： 这种看法被称为贝叶斯假设。 说明：贝叶斯假设在很多情况下都是合理的。 * 2.应用贝叶斯假设时所出现的问题 (1)当θ的取值范围为无限区间时，就无法在Θ上定义一个正常的均匀分布。(例3.15) 定义3.1 设总体X~f(x|θ)，θ∈Θ。若θ的先验分布π(θ)满足下列条件： ①π(θ)≥0，且 ②由此决定的后验密度π(θ|x)是正常的密度函数，则称π(θ)为θ的广义先验密度。 (2)贝叶斯假设不满足变换下的不变性。 (例3.16) * 二、位置-尺度参数族的无信息先验 定义：设密度函数中有两个参数μ与σ，且密度具有下述形式： 其中f(x)是一个完全确定的函数，它相应于μ=0，σ=1时的密度，μ称为位置参数，σ称为尺度参数，这类分布族称为位置-尺度参数族。如正态分布、指数分布、均匀分布等都属于这一类。 特别σ=1时称为位置参数族，而μ=0时称为尺度参数族。 * (一)位置参数的无信息先验 定理：位置参数族的先验分布可用贝叶斯假设作为无 信息先验分布。 证明：设总体X的密度具有形式p(x-θ)，其样本空间 与参数空间均为实数集。对X作一个平移Y=X+c，则 Y的密度具有形式：p(y-c-θ)，这相当于对参数θ作 一个平移η=θ+c，即Y的密度形式为p(y-η)，它仍 然是位置参数族的成员，且其样本空间与参数空间没 有发生改变。因此θ与η应具有相同的无信息先验分 布。即 π(τ)=π*(τ) 其中π*(τ)为η的无信息先验分布。同时，由变换 η=θ+c可算得η的无信息先验分布为 比较上述两式就可知道θ的无信息先验分布是常数。 * * 例3.18 设x是从正态总体N(θ,σ2)抽取的容量为1的样本，其中σ2已知，θ未知，但知其为正，试求参数θ的估计。 解：这是一种带约束条件的估计问题，用贝叶 斯方法解决这类问题比较容易。取参数θ的无 信息先验分布为（0，∞）上的均匀分布，即： π（θ）=I（0，∞）（θ） 由此可得后验密度： 若取后验均值作为θ的估计，则: * 特例：p100 * (二)尺度参数的无信息先验 定理 设总体X的密度函数具有形式： 则参数σ的无信息先验分布为： π(θ)=1/σ，σ>0 证明：令Y=cX(c>0),同时让参数也作同比例变化， 即定义η=cσ，不难算出Y的密度函数为 仍然属 于尺度参数族。且X与Y的样本空间相同，此时σ的无信息先验π(σ)与η的无信息先验π*(η)应相同，即： π(τ)=π*(τ) 另一方面，由变换η=cσ可以得的无信息先验为： * 若令π(1)=1，则π(σ)=1/σ，σ>0它还是一个非正常先验。例3.19(p101) 比较上述两式得： * * 三、用Fisher信息阵确定无信息先验 Cramer-Rao 正则分布族： （1）参数空间为开矩形； （2）分布的支撑与参数无关； （3）对数似然函数关于参数的偏导数存在； （4）似然函数的各种分析运算（导数和积分）可以交换； （5）对任意i,j，满足 称 为Fisher信息阵（量）。 * 三、用Fisher信息阵确定无信息先验 1.确定无信息先验的更一般方法(Jeffreys(1961)): 设x=(x1,x2,…,xn)是来自密度函数p(x|θ)的一个样本，θ 为p维参数向量，则可用Fisher信息阵的平方根作为θ的无信息 先验分布。 2.寻求分布的一般步骤： (1)样本的对数似然函数： (2)求样本的信息阵： 特别在单参数的情形： (3)θ的无信息先验密度为： 其中detI(θ)表示p×p阶信息阵I(θ)的行列式。 * 例20 设x=(x1,x2,…,xn)服从多项分布，其中