4894-贝叶斯方法-估计,推断,决策精编.pptVIP

第一节 贝叶斯推断方法 第二节 贝叶斯决策方法 第十一章 贝叶斯估计 第一节 贝叶斯推断方法 一 、统计推断中可用的三种信息 美籍波兰统计学家耐曼(E.L.Lehmann1894－1981) 高度概括了在统计推断中可用的三种信息： 1．总体信息，即总体分布或所属分布族给我们的信息。譬如“总体视察指数分布”或“总体是正态分布”在统计推断中都发挥重要作用，只要有总体信息，就要想方设法在统计推断中使用 2．样本信息，即样本提供我们的信息，这是任一种统计推断中都需要 3．先验信息，即在抽样之前有关统计推断的一些信息。譬如，在估计某产品的不合格率时，假如工厂保存了过去抽检这种产品质量的资料，这些资料（包括历史数据）有时估计该产品的不合格率是有好处的。这些资料所提供的信息就是一种先验信息。又如某工程师根据自己多年积累的经验对正在设计的某种彩电的平均寿命所提供的估计也是一种先验信息。由于这种信息是在“试验之前”就已有的，故称为先验信息。 以前所讨论的点估计只使用前两种信息，没有使用先验信息。假如能把收集到的先验信息也利用起来，那对我们进行统计推断是有好处的。只用前两种信息的统计学称为经典统计学，三种信息都用的统计学称为贝叶斯统计学。本节将简要介绍贝叶斯统计学中的点估计方法。 二、贝叶斯公式的密度函数形式 贝叶斯统计学的基础是著名的贝叶斯公式，它是英国学者贝叶斯（T.R.Bayes1702~1761）在他死后二年发表的一篇论文《论归纳推理的一种方法》中提出的。经过二百年的研究与应用，贝叶斯的统计思想得到很大的发展，目前已形成一个统计学派—贝叶斯学派。为了纪念他，英国历史最悠久的统计杂志《Biometrika》在1958年又全文刊登贝叶斯的这篇论文。 初等概率论中的贝叶斯公式是用事件的概率形式给出的。可在贝叶斯统计学中应用更多的是贝叶斯公式的密度函数形式。下面结合贝叶斯统计学的基本观点来引出其密度函数形式。贝叶斯统计学的基本观点可以用下面三个观点归纳出来。 假设Ⅰ 随机变量X有一个密度函数p（x；θ），其中θ是一个参数，不同的θ对应不同的密度函数，故从贝叶斯观点看，p（x；θ）是在给定后θ是个条件密度函数，因此记为p（x│θ）更恰当一些。这个条件密度能提供我们的有关的θ信息就是总体信息。 假设Ⅱ 当给定θ后，从总体p（x│θ）中随机抽取一个样本 ,该样本中含有θ的有关信息。这种信息就是样本信息。 假设Ⅲ 我们对参数θ已经积累了很多资料，经过分析、整理和加工，可以获得一些有关θ的有用信息，这种信息就是先验信息。参数θ不是永远固定在一个值上，而是一个事先不能确定的量。从贝叶斯观点来看，未知参数θ是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用π（θ）表示。 1 先验分布 定义3.1 将总体中的未知参数θ∈Θ看成一取值于Θ的随机变量，它有一概率分布，记为π（θ），称为参数θ的先验分布。 2 后验分布 在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本X1，…，Xn，和参数的联合密度函数 是样本的边际分布，或称样本 的无条件分布，它的积分区域就是参数θ的取值范围，随具体情况而定。 样本X与参数的联合分布为 此式在定义域上与二项分布有区别。再计算X的边际密度为 拉普拉斯计算过这个概率,研究男婴的诞生比例是否大于0.5?如抽了251527个男婴,女婴241945个 贝叶斯统计学首先要想方设法先去寻求θ的先验分布。先验分布的确定大致可分以下几步： 第一步，选一个适应面较广的分布族作先验分布族，使它在数学处理上方便一些，这里我们选用β分布族 作为θ的先验分布族是恰当的，从以下几方面考虑： 1 参数θ是废品率，它仅在（0，1）上取值。因此，必需用区间（0，1）上的一个分布去拟合先验信息。β分布正是这样一个分布。 2 β分布含有两个参数a与b，不同的a与b就对应不同的先验分布，因此这种分布的适应面较大 3 样本X的分布为二项分布b（n，θ）时，假如θ的先验分布为β分布，则用贝叶斯估计算得的后验分布仍然是β分布，只是其中的参数不同。这样的先验分布（β分布）称为参数θ的共轭先验分布。选择共轭先验分布在处理数学问题上带来不少方便。 4 国内外不少人使用β分布获得成功。 第二步，根据先验信息在先验分布族中选一个分布作为先验分布，使它与先验信息符合较好。利用θ的先验信息去确定β分布中的两个参数a与b。从文献来看，确定a与b的方法很多。例如，如果能从先验信息中较为准确地算得θ先验平均和先验方差，则可令其分别等于β分布的期望与方差最后解出a与b。 如果从先验信息获得 ，责可解