贝叶斯参数估计的最大熵方法的逆问题.pdfVIP

东 北 石 油 大 学 学 报 第36卷 第6期 2012年 12月 JOuRNALOFNORTHEASTPETROLEUM UNIVERSITY Vo1．36 No．6 Dec． 2012 贝叶斯参数估计的最大熵方法的逆问题 王海虹 (东北石油大学 数学科学与技术学院，黑龙江 大庆 163318) 摘 要：讨论 贝叶斯参数估计理论 中利用最大熵原理确定参数 的先验概率 的逆 问题 ，并且 以泊松分布和指数分布为 例给出证 明．通过求解相应 的微分方程和变分方程 ，得到所需约束条件． 关 键 词 ：贝叶斯统计 ；最大熵原理 ；逆 问题 ；泊松分布 ；指数分布 中图分类号：02l2．8 文献标识码 ：A 文章编号 ：2095—4107(2012)06—0101—03 0 引言 统计学中一个重要方向是参数估计．按照不同派别分为频率学派和贝叶斯学派 ，但二者的出发点不 同，因此对结果的解释也不同．近年贝叶斯学派得到统计学界的广泛重视和应用l1]．贝叶斯参数估计问题 的基本原理是把随机变量 X 的概率分布中的参数也看做随机变量 ，而X 的分布看做参数 已知条件下的条 件分布．因此 ，要通过对 X抽样 ，进而估计参数值 的概率分布．这里需要知道参数 的先验分布，也就是没 有抽样之前对参数 的概率分布进行认识或者假定．贝叶斯方式假设参数 的分布等可能．贝叶斯假设是许多 争论 的焦点 ]，为了克服贝叶斯假设的缺点 ，有人提出利用最大熵原理获得参数 的先验分布 ]．最大熵原 理是 JaynesET提出的一种确定概率分布原则 [4]，其原理是在关于平均值的某些约束条件下 ，让熵最大 ， 从而求出相应 的概率分布 ，即如果知道约束条件 ，就可以导出分布．刘成仕提出非对称熵的概念 ，并建立相 应的最大非对称熵原理_5]，为了解释非对称熵的概念 ，考虑最大熵原理的逆问题．笔者讨论贝叶斯参数 估计 中利用最大熵原理推导先验分布的逆问题 ，即在基于经验可猜 出先验分布情况下，求出使熵最大的约 束条件．这个逆问题的数学讨论要 比正问题复杂．首先，答案一般不惟一 ；其次 ，对于离散情形 ，涉及微分方 程的求解 ，对于连续情形 ，涉及更复杂 的变分方程求解．以泊松分布和指数分布为例给出相应逆问题 的 证 明． 1 约束条件 1．1 泊松分布 若随机变量 x满足泊松分布 ，则分布函数为 、k P女一 P (X 一 是)一 ， 式中：k一0，1，2，…．有定理 ： 定理 1 存在约束条件 g(P。， ”，P ，…)一0，在此约束条件下，泊松分布使熵 。。 S一一∑PIn ， k= 0 最大． 证明：用拉格朗 日乘子法求解．首先 ，做辅助函数 收稿 日期 ：2012一O6—28；编辑 ：关开澄 作者简介：王海虹(1973一)，女，硕士研究生 ，主要从事石油地质与应用数学方面的研究 东 北 石 油 大 学 学 报 第 36卷 2012年 S．一一∑P1nP+ (∑p 1)+扎g 在约束条件下 ，熵最大 ，对应于 一。，即 一 aph (川吣㈩一。’a亲pk_)(． 由此有 + 1 1 一 将泊松分布代入式 (1)得 二 L + l (kl