参数估计-bayes估计.ppt

第四节 贝叶斯估计 一、统计推断的基础 二、贝叶斯公式的密度形式 三、贝叶斯估计 四、共轭先验分布 Thomas Bayes (1702-1761) 一、统计推断的基础 经典学派认为统计推断是根据样本信息对总体分布或总体的特征数进行推断。其使用的信息是总体信息和样本信息。 贝叶斯学派认为统计推断在关于总体分布参数θ的任何统计推断问题中，除了使用上述两种信息外，还必须使用先验信息，它是在进行统计推断时不可缺少的一个要素。 经典统计学 贝叶斯统计 统计学 （1）总体信息 英国统计学家Savage（1961）曾考察两个统计实验： 即从总体中抽取的样本所提供的信息。 即总体分布或总体所属分布族所提供的信息。 （2）样本信息 （3）先验信息 即在抽样之前有关统计问题的一些信息，其主要来源是经验和历史资料。 A：一位常饮牛奶加茶的女士声称：她能辨别先倒进杯子的是茶还是牛奶，对此做了十次试验，她都答对了。 B：一位音乐家声称：他能从一页乐谱辨别出是Haydn 还是Mozart的作品，对此做了十次试验，他都答对了。 例1.免检产品是怎样决定的？ 某厂的产品每天都要抽检几件，获得不合格率的估计。经过一段时间就积累了大量的资料，根据这些资料（先验信息的一种）对过去产品的不合格率可构造一个分布： 这 个对先验信息进行加工获得的分布称为先验分布。 这个先验分布综合了该厂过去产品的质量情况。 若这个分布的概率绝大部分集中在θ=0附近，则可认为该产品是信得过产品，假如以后的多次抽检与历史提供的先验分布是一致的，使用单位就可以对它做出“免检产品”的决定或每月抽检一、两次即可，这样就节省了大量的人力物力。可见，历史资料在统计推断中应加以利用。 贝叶斯统计学派的基本观点： 1. 任一个未知参数θ都被看作是随机变量，用概率分布来描述是恰当的. 这就是θ的先验分布和后验分布. 2. 贝叶斯统计学派是利用后验分布来进行统计推断的. 贝叶斯统计中的两个基本概念是先验分布和后验分布： ①先验分布: 即抽样之前得到的参数θ的一个概率分布.贝叶斯学派的根本观点是认为在关于总体分布参数θ的任何统计推断问题中，除了使用样本所提供的信息外，还必须规定一个先验分布, 它是在进行统计推断时不可缺少的一个要素. 他们认为先验分布不必有客观的依据,可以部分地或完全地基于主观信念. ②后验分布: 根据样本分布和未知参数的先验分布，用概率论中求条件概率分布的方法，求出的在样本已知下，未知参数θ的条件分布. 因为这个分布是在抽样以后才得到的，故称为后验分布. 贝叶斯推断方法的关键是任何推断都必须且只须根据后验分布，而不能再涉及样本分布. 两派争论的焦点是：如何利用各种先验信息合理地确定先 验分布. 二. 贝叶斯公式的密度函数形式 此处用随机变量的密度函数再一次叙述Bayes公式. 1、总体依赖于参数θ的概率函数在经典统计学中记为 p(x;θ),它表示参数空间Θ={θ}中不同的θ对应于不同的分布.可在Bayes统计中记为p(x|θ),它表示随机变量θ在给定某个值时,总体指标X的条件概率函数. 它综合了总体信息和样本信息. 3、从Bayes观点来看,样本X=(x1,…,xn)的产生分两步进行: 首先设想从先验分布π(θ)产生一个样本θ0 , 其次从 p(x|θ0)中产生一个样本（x1,…,xn）. 这时样本X=(x1,…,xn)的联合条件概率函数为 2、根据参数θ的先验信息确定先验分布π(θ). 4、由于θ0 是设想出来的,仍然未知. 它是按先验分布π(θ)产生的. 为把先验信息综合进去, 应考虑一切θ.因此要用π(θ) 参与进一步综合. 这样,样本X=(x1,…,xn)与参数θ的联合分布为: 5、我们的目的是对未知参数θ作统计推断.在没有样本信息时,只能根据先验分布对θ作出推断.在有了样本观察值X=(x1,…,xn)之后,应根据 h(X; θ)对θ作出推断.为此,需把 h(X; θ)作如下分解: 它综合了总体信息和样本信息和先验信息. 其中m(X)是样本X的边缘概率函数. 它不含θ的任何信息: 因此能用h(X ;θ)来对θ作推断的只有条件分布π(θ| X). 它的计算公式是 这就是Bayes公式的密度函数形式. 称之为θ的后验分布.它集中了总体、样本、和先验等三种信息中有关θ的一切信息而又是排除一切与θ无关的信息之后所得到的结果. 它也是用总体和样本对先验分布π(θ)作调整的结果，要比π(θ)更接近θ的实际情况. 6、在θ是离散型随机变量时，先验分布可用先验分布列π(θi), i =1,2,…表示，此时后验分布为 如果总体是离散型的，则这里的p(x|θj)为概率函数P(X=x|θj) *