第3.4节经验贝叶斯估计.ppt

第3.4节　经验贝叶斯估计 0、背景与意义 一、非参数经验贝叶斯估计 二、参数经验贝叶斯估计 作 业 例5(p131 例4.11) 设总体X服从两点分布B(1,p), 其中参数p未知，而p在[0,1]上服从均匀分布，样本 试求参数p的贝叶斯估计与贝叶斯风险? 解 平方损失下的贝叶斯估计为： 而 其贝叶斯风险为 又因为 则 所以 例6(p133 例4.12) 设总体X服从正态分布N(?,1), 其中参数?未知，而?服从标准正态布在N(0,1)，样本 试求参数?的贝叶斯估计? 解 平方损失下的贝叶斯估计为： 而 化简得 例7(p134 例4.13) 设总体X服从均匀分布U(0,?), 其中参数?未知，而?服从pareto分布，其分布函数与 密度函数分别为 试求参数?的贝叶斯估计? 解 根据定理4.6可知，绝对值损失对应的贝叶斯估计为 后验分布的中位数,即 则 根据定理4.4可知，平方损失对应的贝叶斯估计为 后验分布的均值,即 例8(p135 例4.14) 设总体X服从伽玛分布?(r,?), 试求参数?的贝叶斯估计? 解 一、非参数经验贝叶斯估计 二、参数经验贝叶斯估计 贝叶斯估计存在的问题：先验分布的确定 如何客观地确定先验分布？ 根据历史资料数据（即经验）确定该问题的先验分布，其对应的贝叶斯估计称为经验贝叶斯估计.该方法是由Robbins在1955年提出的. 经验贝叶斯估计分类（共两类） 非参数经验贝叶斯估计 参数经验贝叶斯估计 例1（p109例3.20) 1、问题引入 如果先验分布G(x)未知，该如何计算？ 2、经验贝叶斯决策函数 当先验分布未知时，如何利用历史资料（经验资 料） 定义3.11 的信息得到最优贝叶斯估计？ 定义 则? 2的后验分布为 显然此分布仍为倒?分布，即先验分布与后验分布都为倒?分布，因而倒?分布是? 2的共轭先验分布族. 例3(p125例4.9) 哪一个分布具有上述核？结论是?分布，这是因为 ?分布的密度函数为 设?的先验分布为?分布，即 则?的后验分布为 显然此分布是?分布的核，因而?分布是?的共轭先验分布族. 经计算可知 第二种方法 设总体X的分布密度为p(x|?),统计量 定理4.1 则 是共轭先验分布族，其中 例4(p126例4.10) 解 其似然函数为 显然此共轭分布族为?分布的子族，因而，两点分布的共轭先验分布族为?分布. 常见共轭先验分布 倒?分布 方差?2 正态分布（均值已知） 正态分布N(?,?2) 均值? 正态分布 （方差已知） ?分布?(??) 均值的倒数? 指数分布 ?分布?(??) 均值? 泊松分布 ?分布?(?,?) 成功概率p 二项分布 共轭先验分布 参数 总体分布 由第一小节内容可知，给定损失函数以后，风险函数定义为 此积分仍为?的函数，在给定?的先验分布?(?)时，定义 为决策函数d在给定先验分布?(?)下的贝叶斯风险，简 称为d的贝叶斯风险. 1、贝叶斯风险的定义 2、贝叶斯风险的计算 当X与?都是连续性随机变量时，贝叶斯风险为 当X与?都是离散型随机变量时，贝叶斯风险为 注 由上述计算可以看出，贝叶斯风险为计算两次 期望值得到,即 此风险大小只与决策函数d有关，而不再依赖 参数?. 因此以此来衡量决策函数优良性更合理 1、贝叶斯点估计 定义4.6 若总体X的分布函数F(x,?)中参数?为随机 变量，?(?)为?的先验分布，若决策函数类D中存在 一个决策函数使得对决策函数类中的任一决策函数 均有 注 1、贝叶斯估计是使贝叶斯风险达到最小的决策 函数. 2、不同的先验分布，对应不同的贝叶斯估计 2、贝叶斯点估计的计算 平方损失下的贝叶斯估计 定理4.2 设?的先验分布为?(?)和损失函数为 则?的贝叶斯估计为 证 首先对贝叶斯风险做变换 又因为 又因为 则 因而 定理4.3 设?的先验分布为?(?)和损失函数为加权平方损失 则?的贝叶斯估计为 证明略，此证明定理4.2的证明类似. 定理4.4 设参数?为随机向量，先验分布为?(?) 和损失函数为二次损失函数 注 其中Q为正定矩阵，则?的贝叶斯估计为后验分布h(?|x)的均值向量，即 定理表明，正定二次损失下，?的贝叶斯估计不受正定矩阵Q的选取干扰，表现出其稳健性. 证 在二次损失下，任一个决策函数向量d(x)= 其中第二项为常数，而第一项非负，因而只需当 定义4.7 设d=d(x)为决策函数类D中任一决策函数， 损失函数