第三章 贝叶斯估计.pdfVIP

第三章 贝叶斯估计 §3.1贝叶斯推断方法 一、统计推断中可用的三种信息 美籍波兰统计学家耐(E.L.Lehmann1894~1981) 高度概括了在统计推断中可用的三种信息： 1．总体信息，即总体分布或所属分布族给我们 的信息。譬如 “总体是指数分布”或 “总体是正 态分布”在统计推断中都发挥重要作用，只要有 总体信息，就要想方设法在统计推断中使用。 2 ．样本信息，即样本提供我们的信息，这是任 一种统计推断中都需要。 1 3 ．先验信息，即在抽样之前有关统计推断的一些 信息。譬如，在估计某产品的不合格率时，假如工 厂保存了过去抽检这种产品质量的资料，这些资料 （包括历史数据）有时估计该产品的不合格率是有 好处的。这些资料所提供的信息就是一种先验信息。 又如某工程师根据自己多年积累的经验对正在设计 的某种彩电的平均寿命所提供的估计也是一种先验 信息。由于这种信息是在“试验之前”就已有的， 故称为先验信息。 以前所讨论的点估计只使用前两种信息，没有使用 先验信息。假如能把收集到的先验信息也利用起来， 那对我们进行统计推断是有好处的。只用前两种信 息的统计学称为经典统计学，三种信息都用的统计 学称为贝叶斯统计学。本节将简要介绍贝叶斯统计 2 学中的点估计方法。 二、贝叶斯公式的密度函数形式 贝叶斯统计学的基础是著名的贝叶斯公式，它是英国 学者贝叶斯 （T.R.Bayes1702~1761）在他死后二年发 表的一篇论文 《论归纳推理的一种方法》中提出的。 经过二百年的研究与应用，贝叶斯的统计思想得到很 大的发展，形成一个统计学派—贝叶斯学派。为了纪 念他，英国历史最悠久的统计杂志 《Biometrika》在 1958年又全文刊登贝叶斯的这篇论文。 初等概率论中的贝叶斯公式是用事件的概率形式给 出的。可在贝叶斯统计学中应用更多的是贝叶斯公 式的密度函数形式。下面结合贝叶斯统计学的基本 观点来引出其密度函数形式。贝叶斯统计学的基本 观点可以用下面三个观点归纳出来。 3 假设 Ⅰ随机变量X有一个密度函数p （x ；θ）， 其中θ是一个参数，不同的θ对应不同的密度函数， 故从贝叶斯观点看，p （x ；θ）在给定θ后是个条 件密度函数，因此记为p （x│θ）更恰当一些。这 个条件密度能提供我们的有关的θ信息就是总体 信息。 假设Ⅱ 当给定θ后，从总体p （x│θ）中随机抽取一 个样本X ，…，X ，该样本中含有θ的有关信息。这 1 n 种信息就是样本信息。 假设Ⅲ我们对参数θ已经积累了很多资料，经过分析、 整理和加工，可以获得一些有关θ的有用信息，这种信 息就是先验信息。参数θ不是永远固定在一个值上，而 是一个事先不能确定的量。 4 从贝叶斯观点来看，未知参数θ是一个随机变量。描 述这个随机变量的分布可从先验信息中归纳出来，这 个分布称为先验分布，其密度函数用π （θ）表示。 1 先验分布 定义3.1 将总体中的未知参数θ∈Θ看成一取值于Θ 的随机变量，它有一概率分布，记为π （θ），称为 参数θ的先验分布。 2 后验分布 在贝叶斯统计学中，把以上的三种信息归纳起来的 最好形式是在总体分布基础上获得的样本X ，…， 1 X ，和参数的联合密度函数