贝叶斯估计.pptVIP

* 4、平方损失函数下的贝叶斯估计 定理 在平方损失函数 下， 的贝叶斯估计为后验均值 ， 即 在平方损失函数下，任何一个决策函数的后验风险为0. * 第三章 贝叶斯估计 §3.1贝叶斯推断方法 一 、统计推断中可用的三种信息 美籍波兰统计学家耐(E.L.Lehmann1894~1981)高度概括了在统计推断中可用的三种信息： 1．总体信息，即总体分布或所属分布族给我们的信息。譬如“总体是指数分布”或“总体是正态分布”在统计推断中都发挥重要作用，只要有总体信息，就要想方设法在统计推断中使用。 2．样本信息，即样本提供我们的信息，这是任一种统计推断中都需要。 * 3．先验信息，即在抽样之前有关统计推断的一些信息。譬如，在估计某产品的不合格率时，假如工厂保存了过去抽检这种产品质量的资料，这些资料（包括历史数据）有时估计该产品的不合格率是有好处的。这些资料所提供的信息就是一种先验信息。又如某工程师根据自己多年积累的经验对正在设计的某种彩电的平均寿命所提供的估计也是一种先验信息。由于这种信息是在“试验之前”就已有的，故称为先验信息。 以前所讨论的点估计只使用前两种信息，没有使用先验信息。假如能把收集到的先验信息也利用起来，那对我们进行统计推断是有好处的。只用前两种信息的统计学称为经典统计学，三种信息都用的统计学称为贝叶斯统计学。本节将简要介绍贝叶斯统计学中的点估计方法。 * 四、贝叶斯推断（估计） Ⅰ条件方法 由于未知参数的后验分布是集三种信息（总体、样本和先验）于一身，它包含了所有可供利用的信息。故有关的参数估计和假设检验等统计推断都按一定方式从后验分布提取信息，其提取方法与经典统计推断相比要简单明确得多。基于后验分布的统计推断就意味着只考虑已出现的数据（样本观察值）而认为未出现的数据与推断无关，这一重要的观点被称为“条件观点”，基于这种观点提出的统计方法被称为条件方法。 * 例如经典统计学认为参数的无偏估计应满足： 其中平均是对样本空间中所有可能出现的样本而求的，可实际中样本空间中绝大多数样本尚未出现过，而多数从未出现的样本也要参与平均是实际工作者难以理解的。故在贝叶斯推断中不用无偏性，而条件方法是容易被实际工作者理解和接受的。 * Ⅱ估计 1.贝叶斯估计 定义3.2 使后验密度 达到最大的值 称为最大后验估计；后验分布的中位数 称为后验中位数估计；后验分布的期望值 称为 的后验期望值估计，这三个估计都称为贝叶斯估计，记为 。 例1 为估计不合格率 ，今从一批产品中随机抽取n件，其中不合格品数X服从 ，一般选取 为 的先验分布，设 已知，由共轭先验分布可知， 的后验分布为 可计算得： * 选用贝叶斯假设 ，则 第一、在二项分布时， 的最大后验估计就是经典统计中的极大似然估计，即 的极大似然估计就是取特定的先验分布下的贝叶斯估计。 第二、 的后验期望值估计 要比最大后验估计 更合适一些。 第三、 的后验期望值估计要比最大后验估计更合适一些。 表2.1列出四个实验结果,在试验1与试验2中,“抽检3个产品没有一件不合格”与抽检10个产品没有一件是不合格”这两件事在人们心目中留下的印象是不同的。后者的质量要比前者的质量更信得过。 * 试验号 样本量n 不合格数x 1 3 0 0 0.200 2 10 0 0 0.083 3 3 3 1 0.800 4 10 10 1 0.917 表3.1 不合格率 的二种贝叶斯估计的比较 * 在试验3和试验4中，“抽检3个产品全部不合格”与抽检“10个产品全部不合格”也是有差别的。在实际中，人们经常选用后验期望估计作为贝叶斯估计。 2.贝叶斯估计的误差 设 是 的一个贝叶斯估计，在样本给定后， 是一个数，在综合各种信息后， 是按 取值，所以评价一个贝叶斯估计的误差的最好而又简单的方式是用θ对 的后验均方差或平方根来度量，定义如下： 称为 的后验均方差,而其平方根称为后验标准差. 定义3.2 设参数θ的后验分布为 , 贝叶斯估计为 ,则 的后验期望 * 当 时,则 ,称为后验均方差. 后验均方差与后验方差有如下关系: 这表明,当 时,可使后验均方差达到最小,实际中常取后验均值作为 的贝叶斯估计值. * 例2 设一