一、非参数经验贝叶斯估计课件.PPT

第3.4节　经验贝叶斯估计 0、背景与意义 一、非参数经验贝叶斯估计 二、参数经验贝叶斯估计 作 业 其贝叶斯风险为 又因为 则 所以 例6(p133 例4.12) 设总体X服从正态分布N(?,1), 其中参数?未知，而?服从标准正态布在N(0,1)，样本 试求参数?的贝叶斯估计? 解 平方损失下的贝叶斯估计为： 而 化简得 例7(p134 例4.13) 设总体X服从均匀分布U(0,?), 其中参数?未知，而?服从pareto分布，其分布函数与 密度函数分别为 试求参数?的贝叶斯估计? 解 根据定理4.6可知，绝对值损失对应的贝叶斯估计为 后验分布的中位数,即 则 根据定理4.4可知，平方损失对应的贝叶斯估计为 后验分布的均值,即 例8(p135 例4.14) 设总体X服从伽玛分布?(r,?), 试求参数?的贝叶斯估计? 解 一、非参数经验贝叶斯估计 二、参数经验贝叶斯估计 贝叶斯估计存在的问题：先验分布的确定 如何客观地确定先验分布？ 根据历史资料数据（即经验）确定该问题的先验分布，其对应的贝叶斯估计称为经验贝叶斯估计.该方法是由Robbins在1955年提出的. 经验贝叶斯估计分类（共两类） 非参数经验贝叶斯估计 参数经验贝叶斯估计 例1（p109例3.20) 1、问题引入 如果先验分布G(x)未知，该如何计算？ 2、经验贝叶斯决策函数 当先验分布未知时，如何利用历史资料（经验资 料） 定义3.11 的信息得到最优贝叶斯估计？ 使得上式达到最小的决策函数为经验贝叶斯决策函数 定义 渐近最优贝叶斯决策函数 例2(续例p109例3.20) 例3(p110例3.21) 由这两个例子可以看到，经验贝叶斯估计一方面依赖 贝叶斯估计理论，同时也依赖于非参数估计方法。 定理4.1 则 是共轭先验分布族，其中 二、参数经验贝叶斯估计 例4(p126例4.10) 解 其似然函数为 显然此共轭分布族为?分布的子族，因而，两点分布的共轭先验分布族为?分布. 常见共轭先验分布 倒?分布 方差?2 正态分布（均值已知） 正态分布N(?,?2) 均值? 正态分布 （方差已知） ?分布?(??) 均值的倒数? 指数分布 ?分布?(??) 均值? 泊松分布 ?分布?(?,?) 成功概率p 二项分布 共轭先验分布 参数 总体分布 由第一小节内容可知，给定损失函数以后，风险函数定义为 此积分仍为?的函数，在给定?的先验分布?(?)时，定义 为决策函数d在给定先验分布?(?)下的贝叶斯风险，简 称为d的贝叶斯风险. 1、贝叶斯风险的定义 2、贝叶斯风险的计算 当X与?都是连续性随机变量时，贝叶斯风险为 当X与?都是离散型随机变量时，贝叶斯风险为 注 由上述计算可以看出，贝叶斯风险为计算两次 期望值得到,即 此风险大小只与决策函数d有关，而不再依赖 参数?. 因此以此来衡量决策函数优良性更合理 1、贝叶斯点估计 定义4.6 若总体X的分布函数F(x,?)中参数?为随机 变量，?(?)为?的先验分布，若决策函数类D中存在 一个决策函数使得对决策函数类中的任一决策函数 均有 注 1、贝叶斯估计是使贝叶斯风险达到最小的决策 函数. 2、不同的先验分布，对应不同的贝叶斯估计 2、贝叶斯点估计的计算 平方损失下的贝叶斯估计 定理4.2 设?的先验分布为?(?)和损失函数为 则?的贝叶斯估计为 证 首先对贝叶斯风险做变换 又因为 又因为 则 因而 定理4.3 设?的先验分布为?(?)和损失函数为加权平方损失 则?的贝叶斯估计为 证明略，此证明定理4.2的证明类似. 定理4.4 设参数?为随机向量，先验分布为?(?) 和损失函数为二次损失函数 注 其中Q为正定矩阵，则?的贝叶斯估计为后验分布h(?|x)的均值向量，即 定理表明，正定二次损失下，?的贝叶斯估计不受正定矩阵Q的选取干扰，表现出其稳健性. 证 在二次损失下，任一个决策函数向量d(x)= 其中第二项为常数，而第一项非负，因而只需当 定义4.7 设d=d(x)为决策函数类D中任一决策函数， 损失函数为L(?,d(x)),则L(?,d(x)),对后验分布h(?|x)的 数学期望称为后验风险，记为 注 如果存在一个决策函数，使得 则称此决策为后验风险准则下的最优决策函数，或称 为贝叶斯（后验型）决策函数。 定理4.5 对给定的统计决策问题(包含先验分布给 定的情形）和决策函数类D,当贝叶斯风险满足如下条 件： 定理表明：如果决策函数使得贝叶斯风