应用数理统计 第4讲 贝叶斯估计.pptxVIP

数据统计分析第4讲 贝叶斯估计 主讲教师：陈萍 教授e-mail:prob123@mail.njust.edu.cn2.4 贝叶斯统计模型一 、贝叶斯学派的基本观点美籍波兰统计学家耐曼(E.L.Lehmann1894~1981)高度概括了在统计推断中可用的三种信息： 1．总体信息，即总体分布或所属分布族给我们的信息。2．样本信息，即样本提供我们的信息3.先验信息，即在抽样之前有关统计推断的一些信息。只用前两种信息的统计学称为经典统计学，三种信息都用的统计学称为贝叶斯统计学。Bayes统计的特点是：将分布中的未知参数看作随机变量，并假定在抽样之前已知它的分布——先验分布。Bayes 公式设事件B1,…,Bn 构成样本空间?中的完备事件组，A为?中的事件，则例2.4.1 根据以往经验，某设备在每天早上第一次开机时状态良好的概率为80%，而未调整好的概率为20%；在状态良好的情况下生产产品的次品率为5%，在未调整好的情况下生产产品的次品率为50%；某日开机后生产了10个产品，其中有两个次品。据此判断该日设备是否状态良好。解：设A：生产的10个产品中有两个次品。B：该日设备状态良好则据此表明该日设备状态良好。Bayes统计模型总结如下：I 从贝叶斯观点来看，未知参数θ是取值于参数空间?上的随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用π(θ)表示。II 总体X有一个密度p（x；θ）（离散或连续），可看作是在给定θ后X的条件密度，因此记为p（x│θ）更恰当一些。这个条件密度能提供我们的有关的θ信息就是总体信息。 称{p（x│θ）; θ? ?}为总体分布族。III 当给定θ后，从总体p（x│θ）中随机抽取一个样本X1，…，Xn，该样本中含有θ的有关信息。这种信息就是样本信息。用样本X=(X1,…,Xn)的联合密度即似然函数表示为样本X和参数θ的联合密度为：关于样本X的边缘密度为：Bayes 公式的一般表示形式在给定样本X=x 条件下， θ的条件概率密度为称为θ的后验密度函数，或后验分布。Bayes 原则：对θ的所有统计推断都应建立在后验分布的基础上！为研究方便，引进记号若随机变量X的概率密度为 ，其中c是与x无关的数，则可记为 ，g(x)称为概率密度p(x)的核。例如：利用记号?，可以直观地描述在Bayes公式中反映出来的事实：当多个观察值相继得到时，关于θ的信息不断更新！设X1，…，Xn为总体p（x│θ）的i.i.d.样本， θ的先验分布为 π(θ)，由Bayes公式当仅有第一个观察值X1时，当再得到第二个观察值X2时，同理 三 先验分布的选取Bayes假设：先验分布是无信息先验分布。在θ的值域内“均匀分布”。即假定定义2.4.1：若?（?）满足下列（1），（2）时称为广义先验分布。取?的先验分布为Bayes先验分布，则四 选取先验分布的方法---共轭分布法定义2.4.2 设总体X的分布族为{p(x| ?), ?∈?)，若先验分布?（?）与后验分布h(?|x)属于同一分布类型，则先验分布?（?）称为p(x| ?)的共轭先验分布。例2.4.2. 设（X1，… ，Xn)是来自0-1分布总体b(1,p)的i.i.d.样本，p的先验分布取为?分布? (a,b),则{? (a,b),a0,b0}为0-1分布族的共轭先验分布族。几类典型分布的共轭先验分布族见P94表2.4.1 证： ?分布概率密度为故，p的先验分布为给定p条件下总体X的分布为：似然函数为：于是p的后验分布为：即故{? (a,b),a0,b0}为0-1分布族的共轭先验分布族。五 Bayes 参数估计Bayes学派认为：由于未知参数的后验分布是集三种信息（总体、样本和后验）于一身，它包含了所有可供利用的信息。故后验分布族{h(θ|x)， θ∈⊙}是统计推断的出发点 。A 最大后验估计定义2.4.3 若 使得则 称 为最大后验估计；注：若采用Bayes假设， ?（?）∝1，则h(θ|x) ∝L(θ|x)，最大后验估计等价于极大似然估计。 条件期望估计定义2.4.4. 设后验分布密度为h(θ|x)，则后验分布的期望称为θ的条件期望估计。定理2.4.5 θ 的条件期望估计 满足即条件期望估计使得估计量的后验均方误差或平方损失下的后验风险达到最小。EX设未知。(1) 求证逆?分布 是 的共轭先验分布。 (2) 在逆?分布的先验分布下，求?的条件期望估计与最大后验估计。(3) 通过模拟分析考察估计量