第三章 先验分布的确定.pptxVIP

第三章先验分布的确定第一节主观概率第二节利用先验信息确定先验分布第三节利用边际分布m(x)确定先验密度第四节无信息先验分布第五节多层先验第三章先验分布的确定3.1.1主观概率贝叶斯统计中要使用先验信息，而先验信息主要是指经验和历史资料。因此如何用人们的经验和过去的历史资料确定概率和先验分布是贝叶斯学派要研究的问题。贝叶斯学派认为：一个事件的概率是人们根据经验对该事件发生可能性所给出个人信念。这样给出的概率称为主观概率。第一节主观概率3.1.2确定主观概率的方法根据经验和历史资料等先验信息给出主观概率没有什么固定的模式，大家还可在实践中创造，但不管用什么方法，其所确定的主观概率都必须满足概率的三条公理，即1.非负性公理：对任一事件A，。2.正则性公理：必然事件的概率为1。3.可列可加性公理：对可列个互不相容的事件，有当发现所确定的主观概率与这三条公理及其推出的性质有不和谐时，必须立即修正，直到和谐为止。这时给出的主观概率才能称得上概率。第一节主观概率在贝叶斯方法中关键的一步是确定先验分布。当总体参数θ是离散时，即参数空间只含有限个或可数个点时，可对中每个点确定一个主观概率，而主观概率可用3.1所述的方法确定。当总体参数θ是连续时，即参数空间是实数轴或其上某个区间时，要构造一个先验密度那就有些困难了。当θ的先验信息（经验和历史数据）足够多时，下面三个方法可供使用。第二节利用先验信息确定先验分布3.2.1直方图法第二节利用先验信息确定先验分布3.2.2选定先验密度函数形式再估计其超参数这个方法的要点如下：(1)根据先验信息选定θ的先验密度函数的形式，如选其共轭先验分布。(2)当先验分布中含有未知参数(称为超参数)时,譬如给出超参数α,β的估计值使最接近先验信息。这个方法最常用，但也极易误用，因为先验密度的函数形式选用不当将会导致以后推导失误。第二节利用先验信息确定先验分布3.2.3选定先验密度函数形式再估计其超参数这二个方法都是通过专家咨询获得各种主观概率，然后经过整理加工即可得到累积概率分布曲线。这二个方法类似，但做法略存差异。定分度法是把参数可能取值的区间逐次分为长度相等的小区间，每次在每个小区间上请专家给出主观概率。变分度法是把参数可能取值的区间逐次分为机会相等的两个小区间，这里分点由专家确定。这二个方法很容易学会，在一个短暂的时间后，决策者与专家就能逐渐熟悉它们，并能相当顺手地利用它们，但要注意，你所咨询的专家，应是声誉良好的和富有经验的，这二个方法相比，决策者更愿意使用变分度法。第二节利用先验信息确定先验分布3.3.1边际分布m(x)设总体X的密度函数为，它含有未知参数θ，若θ的先验分布选用形式已知的密度函数，则可算得X的边缘分布（即无条件分布）当先验分布含有未知参数，譬如，那么边缘分布m(x)依赖于λ,可记为m(x|λ)，这种边缘分布在寻求后验分布时常遇到，只是在那里没有强调罢了。第三节利用边际分布m(x)确定先验密度3.3.2混合分布设随机变量X以概率π在总体中取值，以概率1-π在总体中取值。若和分别是这二个总体的分布函数,则X的分布函数为或用密度函数(或概率函数)表示这个分布F(x)称为和的混合分布。这里的π和1-π可以看作一个新的随机变量θ的分布，即第三节利用边际分布m(x)确定先验密度从上述定义容易看出：从混合分布F(x)中抽取一个样品,相当于如下的二次抽样:第一次,从中抽取一个样品θ。第二次，若，则从中再抽一个样品，这个样品就是，若，则从中再抽一个样品，这个样品就是。若从混合分布抽取一个容量为n的样本,，那么其中约有个来自，约有个来自，这样的样本有时也称为混合样本。第三节利用边际分布m(x)确定先验密度3.3.3先验选择的ML-II方法在边缘分布m(x)的表示式(3.3.1)中,若p(x|θ)已知，则m(x)的大小反映π(θ)的合理程度，这里把m(x)记为。当观察值x对二个不同的先验分布和,有时，人们可认为，数据x对比对提供更多支持。于是把看作π的似然函数是合理的。既然π有似然函数可言，那么用极大似然法选取π就是很自然的事。这样定出的先验称为II型极大似然先验，或称为ML-II先验。第三节利用边际分布m(x)确定先验密度假如混合样本所涉及的先验密度函数的形式已知，未知的仅是其中的超参数，即先验密度函数族可表示如下：这时寻求ML-II先验是较为简单的事,只要寻求这样的使得这可用最大化似然函数方法来实现。第三节利用边际分布m(x)确定先验密度3.3.4先验选择的矩方法当先验密度函数的形式已知，还可利用先验矩与边缘分布矩之间的关系寻求超参数λ的估计。这个方法称为先验选择的矩方法。这个矩方法的要点如下：(1)计算总体分布的期望和方差,即(2)计算边缘密度m(x|λ)的期望和方差。第三节利用边际分布m(x)确定先验密度(