第3.2节贝叶斯估计讲述.ppt

平方损失下的贝叶斯估计 定理3.2 设?的先验分布为?(?)和损失函数为 则?的贝叶斯估计为 四 、贝叶斯估计 1、贝叶斯解--贝叶斯点估计 证 定理3.3 设?的先验分布为?(?)，在加权平方损失下 则?的贝叶斯估计为 证明略，此证明定理3.2的证明类似. 定理3.4 设参数?为随机向量，先验分布为?(?) 和损失函数为二次损失函数 注 其中Q为正定矩阵，则?的贝叶斯估计为后验分布h(?|x)的均值向量，即 定理表明，正定二次损失下，?的贝叶斯估计不受正定矩阵Q的选取干扰，表现出其稳健性. 证 在二次损失下，任一个决策函数向量d(x)= 其中第二项为常数，而第一项非负，因而只需当 定理3.6 设?的先验分布为?(?)，在绝对损失函数下 证 则?的贝叶斯估计为 设m为h(?|x)的中位数，又设d=d(x)为?的另一 估计，为确定期间，先设dm,由绝对损失函数的定义可得 又由于 则 由于m是中位数，因而 则有 于是，当dm时 同理可证，当dm时 因而 定理3.7 设?的先验分布为?(?)和损失函数为 则?的贝叶斯估计为 证 首先计算任一决策函数d(x)的后验风险 为了得到R(d|x)的极小值，关于等式两边求导： 即 则 例5(p94 例3.11) 设总体X服从两点分布B(1,p), 其中参数p未知，而p在[0,1]上服从均匀分布，样本 试求参数p的贝叶斯估计与贝叶斯风险? 解 平方损失下的贝叶斯估计为： 而 其贝叶斯风险为 又因为 则 所以 例6(p96 例3.12) 设总体X服从正态分布N(θ,1), 其中参数θ未知，而?服从标准正态布在N(0,1)，样本 试求参数θ的贝叶斯估计? 解 平方损失下的贝叶斯估计为： 例7(p97 例3.13) 设总体X服从均匀分布U(0,?), 其中参数?未知，而?服从pareto分布，其分布函数与 密度函数分别为 求?的贝叶斯估计? 解 绝对值损失对应的贝叶斯估计为后验分布的中位数,即 则 平方损失对应的贝叶斯估计为 后验分布的均值,即 例8(p97 例3.14) 设总体X服从伽玛分布?(r,?), 试求参数?的贝叶斯估计? 解 3、贝叶斯估计的误差 定义3.8 参数?的后验分布为h(?|x),其贝叶斯估计 后验均方误差与后验方差的关系 所以，贝叶斯估计通常就指后验期望 另外还有：贝叶斯后验众数(广义MLE)， 后验中位数 后验均方误差与后验方差的优点 1、二者只依赖与样本，不依赖参数?. 2、二者的计算不依赖与统计量的分布，即抽样分布 3、贝叶斯估计不考虑无偏性，因为贝叶斯估计只考虑出现的样本，不考虑没出现的样本. 4、贝叶斯区间估计 定义 定义 定义3.9 设参数?的后验分布为h(?|x)，对给定的 正态分布均值的贝叶斯可信区间 例9(p100例3.15) 解 例10(p101例3.16) 对某儿童进行智力测验，设测验 结果服从N(?,100),其中?为心理学中儿童的智商, ?的 先验分布为N(100,225),试求?的置信为0.95的贝叶斯 置信区间. 解 数据代入公式,得 ?可信度为0.95的可信区间 [94.07, 126.69] 不用先验分布,可得?的置信度为0.95的 置信区间为 [95.4, 134.6] 一、先验分布和后验分布 二、共轭先验分布 三、贝叶斯风险 第3.2节　贝叶斯估计 四、贝叶斯估计 一、先验分布与后验分布 1、先验信息 在抽取样本之前，人们对所要估计的未知参数所了解的信息，通常称为先验信息. 例1(p84例3.6) 某学生通过物理试验来确定当地 的重力加速度，测得的数据为(m/s2): 9.80, 9.79, 9.78, 6.81, 6.80 试求当地的重力加速度X. （算的均值8.596） 2、先验分布 对未知参数?的先验信息用一个分布形式?(?)来 表示，此分布?(?)称为未知参数?的先验分布. 例如 例1中重力加速度的先验分布为 3、后验分布 在抽取样本之前，人们对未知参数有个了解，即先验分布。抽取样本之后，由于样本中包含未知参数的信息，而这些关于未知参数新的信息可以帮助人们修正抽样之前的先验信息。 由此可以得到 例2(p86例3.7) 为了提高某产品的质量，公司经理 考虑增加投资来改进生产设备，预计需投资90万元， 但从投资效果来看，顾问们提出两种不同的意见： 经理根据以往的经验，两个顾问建议可信度分别为 这两个概率是经理的主观判断（也就是先验概率）， 为了得到更准确的信息，经理决定进