第三章 贝叶斯估计课件.ppt

第三章 贝叶斯估计;;二、贝叶斯公式的密度函数形式;假设Ⅰ 随机变量X有一个密度函数p(x;θ)，其中θ是一个参数，不同的θ对应不同的密度函数，故从贝叶斯观点看，p(x;θ)在给定θ后是个条件密度函数，因此记为p(x|θ)更恰当一些。这个条件密度能提供我们的有关的θ信息就是总体信息。;从贝叶斯观点来看，未知参数θ是一个随机变量。描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用π(θ)表示。;在这个联合密度函数中。当样本 给定之后，未知的仅是参数θ了，我们关心的是样本给定后，θ的条件密度函数，依据密度的计算公式，容易获得这个条件密度函数;是样本的边际分布，或称样本 的无条件分布，它的积分区域就是参数θ的取值范围，随具体情况而定。;例1 设事件A(产品为废品)的概率为 ，即 。为了估计 而作n次独立观察，其中事件A出现次数为X，则有X服从二项分布 即;此式在定义域上与二项分布有区别。再计算X的边际密度为;贝叶斯统计学首先要想方设法先去寻求θ的先验分布。先验分布的确定大致可分以下几步：;注： ;3 样本X的分布为二项分布b(n,θ)时，假如θ的先验分布为β分布，则用贝叶斯估计算得的后验分布仍然是β分布，只是其中的参数不同。这样的先验分布（β分布）称为参数θ的共轭先验分布。选择共轭先验分布在处理数学问题上带来不少方便。;如果从先验信息获得 则可解得a=3，b=12这意味着θ的先验分布是参数a=3，b=12的β分布。 假如我们能从先验信息中较为准确地把握θ的两个分位数，如确定θ确定的10％分位数θ0。1和50％的中位数θ0。5，那可以通过如下两个方程来确定a与b。;假如获得的信息较为丰富，譬如对此产品经常进行抽样检查，每次都对废品率作出一个估计，把这些估计值看作参数的一些观察值，再经过整理，可用一个分布去拟合它。;贝叶斯本人认为，当你对参数θ的认识除了在有限区间（c，d）之外，其它毫无所知时，就可用区间（c，d）上的均匀分布作为θ的先验分布。这个看法被后人称之为“贝叶斯假设”。 确定了先验分布后, 就可计算出后验分布, 过程如下：;最后在给出X=x的条件下，θ的后验密度为;如果用（0，1）上的均匀作为θ的先验分布，则θ的贝叶斯估计为 ;三、 常用的一些共轭先验分布;EX1 设θ是一批产品的不合格率，已知它不是0.1就是0.2，且其先验分布为π(0.1)=0.7,π(0.2)=0.3 假如从这批产品中随机取8个进行检查，发现有2个不合格，求θ的后验分布。;EX2 设一卷磁带上的缺陷数服从泊松分布P(λ)其中λ可取1.0和1.5中的一个,又设λ的先验分布为 π(1.0)=0.4, π(1.5)=0.6 假如检查一卷磁带发现了3个缺陷，求λ的后验分布。;四、贝叶斯推断（估计）;例如经典统计学认为参数的无偏估计应满足： 其中平均是对样本空间中所有可能出现的样本而求的，可实际中样本空间中绝大多数样本尚未出现过，而多数从未出现的样本也要参与平均是实际工作者难以理解的。故在贝叶斯推断中不用无偏性，而条件方法是容易被实际工作者理解和接受的。;Ⅱ估计 ;选用贝叶斯假设 ，则 ;试验号;在试验3和试验4中，“抽检3个产品全部不合格”与抽检“10个产品全部不合格”也是有差别的。在实际中，人们经常选用后验期望估计作为贝叶斯估计。;当 时, 则 ,称为后验方差. 后验均方差与后验方差有如下关系: ;例2 设一批产品的不合格率为 ,检查是一个一个进行,直到发现第一个不合格品为止,若X为发现第一个不合格品时已检查的产品数,则X服从几何分布,其分布列为;故;3.区间估计(可信区间) ;的 称为 的 (单侧)可信下限. ; 2.在经典统计中寻求置信区间有时是困难的,因为它要设法构造一个枢轴量,使它的分布不含未知参数,这是一项技术性很强的工作.相比之下可信区间只要利用后验分布,不需要再去寻求另外的分布, 可信区间的寻求要简单得多.;EX1 设随机变量X的密度函数为 (1)假如θ的先验分布为U(0,1),求θ的后验分布. (2)假如θ的先验分布为 求θ的后验分布及后验期望估计。;EX2 对正态分布N(θ,1)观察,获得三个观察值 若θ的先验分布为N(3,1),求θ的0.95可信区间;§3.2 贝叶斯决策方法;一、决策的基本概念;这是一个典型的双人博弈（赌博）问题。不少实际问题可归纳为双人博弈问题。把上例中的乙方改为自然或社会，就形成人与自然（或社会）的博弈问题。;例3 一位投资者有一笔资金要投资，有以下几个投资供