第5章 统计决策与贝叶斯估计.pptVIP

第四章 统计决策与贝叶斯估计 1950年，统计学家瓦尔德（A.Wald）出版了题为《Statistical Decision Function》的一书，建立了一种统一处理各种统计问题的决策理论。这个理论已不同程度地渗透到了数理统计的各个分支中，对数理统计的发展产生了很大影响，应用非常广泛。 贝叶斯估计是贝叶斯统计的主要部分，它是运用统计决策理论研究参数估计问题。 §1 统计决策的三要素 样本空间和分布族 决策空间(和决策函数) 损失函数(与风险函数) 例1 设总体服从参数为?的泊松分布， ?0,选取二次损失函数L(?,d)=(d- ?)2,考虑?的估计量的风险函数 前面的点估计的优良性的均方误差即是取二次损失函数，来寻求决策问题的一致最优解（未知参数的最优估计）。如果限定在无偏估计类中，也得到了比较好的结果。即：如果未知参数存在充分完备统计量，且有无偏估计，则存在唯一的最优估计。但是这个估计量不一定在未知参数所有的估计量中最优。 §2 极小化极大 (Minimax)估计 例 设总体X～B(1,p),p??={1/2,1/4},样本容量为1，即X1为样本,D＝ {1/2,1/4},损失函数L(p,d)由下表给出，试求参数p的Minimax估计。 §3 贝叶斯(Bayes)估计 迄今为止，我们所研究的统计推断用了两种知识：一是模型，即总体的样本族；另一种是由样本所提供的包含了有关未知参数的信息。 但还有一种信息，即在获得估计之前，对总体情形的一些了解，称为附加信息。下面所要介绍的Bayes估计就是把附加信息也利用上的一种估计。 一、 先验分布与后验分布 定义 参数 的参数空间 上的一个概率分布称为 的先验分布，其密度族记为 ；样本 的条件密度函数族 称为样本分布族；先验分布与样本分布族 构成Bayes参数统计模型。 记F(x| ?)= F(x;?)表示给定?时总体的条件分布，从而(X, ?)的联合分布函数(密度函数)为 F(x, ?)=π(?)F(x| ?) f(x, ?)=π(?)q(x| ?) 在联合分布下X的边缘分布??f(x, ?)d ?是对?的一种“平均”，与?无关。 定义 在的条件 下， 的条件分布(或条件概率密度) 称为后验分布，后验分布由后验密度函数 描述，其计算公式为： 先验分布的确定 先验分布的确定方法有： (1) 客观法 以前的资料积累较多，对的先验分布能作出较准确的统计或估计。在这种情况下，分布的确定没有渗杂多少人的主观因素，故称之为客观法。 (2) 主观概率法 按照Bayes学派的说法，这是一种通过“自我反省”去确定先验分布的方法。就是说，对参数取某某值的可能性多大，通过思考，觉得该如何，而定下一个值。 主观先验分布反映了个人以往对的了解，包括经验知识和理论知识，其中有部分可能是通过他人获取的，也可能是他人对的了解。对过去的经验和知识，必须经过组织和整理。 这样提出的先验分布，在主观上是正确的，但不能保证合乎某种客观标准。 (3) 同等无知原则 这一原则称为Bayes假定。以产品的废品率 p为例，当我们对p一无所知时，我们只好先验地认为，p以同等机会取 内各种值，因而以 内均匀分布 作为p的先验分布。这一先验分布称为无信息先验分布。 （4）共轭分布方法 H.Raiffa, R.Schlaifer提出了先验分布应取共轭分布才合适。 定义 设样本分布族为 ，若先验分布 与后验分布 属于同一分布类型，则先验分布 称为关于 的共轭分布。确切地说，若 为的 一个密度函数族，若任取 ，得到样本观测值 后，由 及 确定的后验密度函数 ，则称 是关于