[贝叶斯估计.docxVIP

引论历史概述基本观点贝叶斯学派的起点是贝叶斯的两项工作：贝叶斯定理和贝叶斯假设。贝叶斯定理（公式）的事件形式：假定A1，A2，---Ak是互不相容的事件，它们之和U(i=1~k)Ai包含事件B，即BU(i=1~k)Ai，则有贝叶斯公式的随机变量形式：假定随机变量的联合分布密度是，其中是边缘密度，是条件密度，则有应用举例：一个人打靶，打了n次，命中了t次，现在问此人打靶命中的概率如何估计？通常用t/n去估计，但是这一估计有它不合理处，对总打靶次数没有分析。已知某人打靶命中的概率为，则打靶n次命中t次的概率是，如果把看作一个随机变量，上面的概率就可以看成当已知时，t对的条件概率。如果还知道的边缘分布，则由贝叶斯公式，就可以求出对t的条件密度上式中，与实验结果无关，所以称它为先验分布。实验结果t带来的关于的信息反映在，它与统计实验结果t有关，称为后验分布。特别的，如果我们对打靶的人不了解，他的命中概率在[0,1]中取那个数值都是同样可能的，这时候先验分布就是在[0,1]上的均匀分布，带入上式有也即是贝塔分布，上式右端的分母就是贝塔函数B(t+1,n-t+1)，如果用后验分布的期望值对t的条件期望去估计，就得到估计量== /B(t+1,n-t+1)= B(t+2,n-t+1)/B(t+1,n-t+1)= 当n=t=1时，=2/3；当n=t=100时，=101/102，这个估计比t/n要合理。= 就是“相继律”。对贝叶斯学派的批评参数看成随机变量是否妥当先验分布是否存在？如何选取？贝叶斯提出一个原则：无信息先验分布应选取在取值范围内的均匀分布，这一原则就是贝叶斯假设。对经典学派的批评经典学派，也称抽样学派，是指本世纪初由英国的卡尔皮尔逊等人开始，经费歇尔给以发展，到奈曼完成理论的这一系统成果。如点估计、假设检验、矩估计法、最大似然估计法、最小二乘法、估计的优良性、区间估计、假设检验中犯两类错误的概率、优良的假设检验方法---等等。一些问题的提法不妥判断统计方法好坏的标准不妥先验分布的选取第一节 基本概念贝叶斯公式记成分布密度的核正态分布的核是指数分布的核是二项分布的核是贝塔分布的核是一旦样本取得后，就确定了样本，中只有在变化，用表示。的核是充分统计量定义：对于参数而言，统计量称为充分的，如果不论的先验分布是什么，相应的后验分布总是和的函数。第二节 贝叶斯假设第三节 共轭分步法定义：设样本对参数的条件分布为，先验分布称为的共轭分布，如果决定的后验分布与是同一类型的。杰佛莱原则杰佛莱原则有两个部分：一是对先验分布有一合理的要求；另一部分是给出一个具体的方法去求得合乎要求的先验分布。贝叶斯假设中的一个矛盾是：如果对参数选用均匀分布，则对的函数作为参数时，也应选用均匀分布。然而由是遵从均匀分布这一前提，往往导出不是均匀分布；从是均匀分布这一前提，往往导出不是均匀分布。杰佛莱为了克服这一矛盾，提出了不变性的要求。他认为一个合理的决定先验分布的准则应具有不变性：第五节 最大熵原则信息论的产生，形成了描述事物不确定性的概念——熵。如果一个随机变量x只取a与b两个不同的值，比较下面两种情况：（1）、=0.99，=0.01（2）、=0.6，=0.4很明显，（1）的不确定性就比（2）小得多，而且直觉上也可以看出当==0.5时，不确定性达到最大。定义：设随机变量x是离散的，它取至多可列个值，且,则称为x的熵，记作。为了允许=0，我们规定=0；对于连续型的随机变量x，若x~,且积分有意义，则称它是x的熵，也记作。在有限范围内取值的随机变量，它的分布是均匀分布时，熵才达到最大值。最大熵原则：无信息先验分布应取参数的变化范围内熵最大的分布。定理：设，限定的条件下，其中与均为已知的函数和常数，使得熵达到最大值的分布密度存在，它一定有下述表达式 2.17其中，使得等式都成立。如果对于无限范围内取值的参数，对它的先验分布的矩有一定的了解，假如存在多少阶矩则可用公式2.17获得最大熵分布。例如期望值、方差均为指定常数时，相应的最大熵分布就是正态分布。特别值得注意的是，如果我们知道了先验分布的若干分位点，同样可以用公式2.17求出最大熵分布。在实际工作中，凭借过去的经验，估计几个分位点往往是不困难的，例如这种产品受欢迎的可能性不超过1/3，某个人进行某项工作，成功的可能性大于0.9的概率在0.95以上，---等等。第六节不变测度第七节 其他原则确定先验分布的方法很多，一般说来可以分成两大类：利用已有的信息和无信息这两种不同的情况