第一章 先验分布与.pptVIP

贝叶斯统计 学习参考书 1.吴喜之，现代贝叶斯统计学，中国统计出版社，2000年10月第一版。 2.张尧庭 陈汉峰编著，贝叶斯统计推断，科学出版社，1991年3月。 3.Berger，J.O.，Statistical decision theory and Bayesian analysis，Second edition，Springer-Verlag，New York，1985，中译本：统计决策理论及贝叶斯分析，贾乃光译，中国统计出版社，1998。 4.贾乃光编著，数理统计——贝叶斯统计学，中国林业出版社， 5.James等著，贝叶斯统计学：原理、模型与应用，中国统计出版社，1992 §1.1 三种信息 基于总体信息和样本信息进行的统计推断被称为经典统计学，它的基本观点是把数据（样本）看成是来自具有一定概率分布的总体，所研究的对象是这个总体而不局限于数据本身。 基于总体信息、样本信息和先验信息这三中信息进行的统计推断称为贝叶斯统计学。它的基本观点是：任一个未知量θ都可看作一个随机变量，应用一个概率分布去描述对θ的未知状况。这个概率分布是在抽样前就有的关于θ的先验信息的概率陈述。这个概率分布被称为先验分布。 统计学中有两个主要学派：频率学派和贝叶斯学派。 频率学派研究的内容称为经典统计学。贝叶斯学派研究的内容称为贝叶斯统计学。 贝叶斯统计起源于英国的学者贝叶斯（Bayes, T.R.1702(?)~1761)死后发表的一 篇文章“论有关机遇问题的求解”。 拉普拉斯（Laplace,P.C.1749~1950)等人用贝叶斯提出的方法导出一些有意义的结果。 瓦尔德（Wald,A.1902~1950)提出统计决策函数伦后又引起很多人对贝叶斯方法研究的兴趣。 贝叶斯统计学派与频率统计学派之间的一些争论 1.经典统计学用大量重复试验的频率来确定概率、是“客观的”。贝叶斯学派认为他们将概率与统计的研究与应用范围扩大到不能大量重复的随机现象中来。 2.贝叶斯认为主观概率的确定是建立在透彻的了解和丰富的经验的基础上的，这符合实际。 3.贝叶斯学派认为频率学派对总体的选择也经常是主观的。 一、贝叶斯公式的三种形式 初等概率论中的贝叶斯公式是用事件的 概率形式给出的。可在贝叶斯统计学中应用 更多的是贝叶斯公式的密度函数形式。 1.贝叶斯公式的事件形式： 假定 是互不相容的事件，它 们之和 包含事件B，即 ，则有： （2） 后验分布 在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本X1，…，Xn，和参数的联合密度函数： 3.贝叶斯公式的离散形式： 当 是离散随机变量时，先验分布可用先验分布列π(θi)，这时后验分布也是离散形式： 假如总体X也是离散的，则只须将 p(x|θ)换成 P(X=x|θ) 即可。 后验分布是三种信息的综合。获得后验分布使人们对θ的认识又前进一步，可看出，获得样本的的效果是把我们对θ的认识由π(θ)调整到 。所以对θ的统计推断就应建立在后验分布 的基础上。 例1.5 投资决策问题 为了提高某产品的质量，公司经理考虑增加投 资来改进生产设备，预计需投资100万元，但从投资效果看，下属部门有两种意见： θ1 ：改进生产设备后，高质量产品可占90% θ2 ：改进生产设备后，高质量产品可占70% 问：公司经理怎样决策？ 为此经理做了一项试验，试验结果（记为A）如下： A：试制五个产品，全是高质量产品 因为 而由全概率公式可得： 由贝叶斯公式的离散形式可得： 经理根据试验A的信息调整了自己的看法，把对 和 的看法由0.4和0.6调整到了0.7和0.3。为此经理再次事业，观其结果再作决策。 试验B：试制10个产品，有9个是高质量产品 为此把上次后验概率看作是这次试验的先验概率，即 由二项分布可以得到： 由此可以算得 和后验概率 经过二次试验， 的概率已经上升到0.883，因此经理选择了第一个方案。 §1.3 共轭先验分布 一、共轭先验分布 定义2 设 是总体分布中的参数（或参数向 量）， π( )是 的先验密度函数，假如由抽样 信息算得的后验密度函数与π(θ)有相同的形式， 则称π( )是 的（自然）共轭先验分布。 例1.6 证明：正态均值（方差已知