基于贝叶斯网络及各种抽样方法比较.docVIP

基于贝叶斯网络的各种抽样方法的比较 摘要: 本文主要介绍了贝叶斯网的基本概念以及重要性抽样方法的基本理论和概率推理, 重点介绍了两种重要的抽样方法, 即逻辑抽样方法和似然加权法, 并且比较了它们的优缺点 关键词: 贝叶斯网 抽样法 无偏估计 1．引言 英国学者T.贝叶斯1763年在《论有关机遇问题的求解》中提出一种归纳推理的理论, 后被一些统计学者发展为一种系统的统计推断方法, 称为贝叶斯方法．采用这种方法作统计推断所得的全部结果, 构成贝叶斯统计的内容．认为贝叶斯方法是唯一合理的统计推断方法的统计学者, 组成数理统计学中的贝叶斯学派, 其形成可追溯到 20世纪 30 年代．到50～60年代, 已发展为一个有影响的学派．． 是一组变量在其定义域上的可积函数．考虑积分 (2.2.1) 为了近似计算这一积分, 重要性抽样方法将上式改写为如下形式: (2.2.2) 这里, 被看成是一组随机变量, 是的一个联合分布, 称为重要性分布, 它满足以下条件: 对的任意取值, 如果, 那么. 接下来, 重要性抽样方法从独立地抽取个样本并基于这些样本来对积分进行估计: （2.2.3） 可以证明, 是的一个无偏估计, 且根据强大数定律, 当样本量趋于无穷时, 几乎收敛于. 重要性抽样法的性能主要从两个方面来衡量: 一个是算法复杂度, 另一个是近似解的精度．因此, 人们用计算所需的时间和的方差之积来度量重要性抽样法的效率:越小, 算法的效率越高, 收敛速度也就越快, 从而获得高精度近似所需的样本量不大．这里, 方差可用下式计算: （2.2.4） 重要性分布的选择是提高算法效率的关键．由于重要性分布的选择对时间复杂度的影响不大, 因此为了提高算法的效率, 应该选用使得方差尽可能小的重要性分布．根据式(2.2.4),若被积函数, 则最优重要性分布为.此时, 样本被集中在值较大的＂＂本身是未知的, 在实际中很少能够从抽样, 只能寻找与尽量接近的分布．重要性分布与最优分布越接近, 方差就越小． 2.3重要性抽样法的概率推理 考虑一个贝叶斯网, 用记其中所有变量的集合,记所表示的联合概率分布．设观测到证据.下面将讨论如何近似计算一组查询变量取某值的后验概率. 设是一些变量的集合, 是的一个子集合, , 并设为的一个取值．定义函数 （2.3.1） 按条件概率的定义, 有 （2.3.2） 根据式（2.3.1）和可以分别表示成如下形式: （2.3.3） （2.3.4） 于是可以利用重要性抽样法来对它们进行近似． 对于近似的一般性质, 有一点需要注意．根据以上讨论, 利用重要性抽样法获得的对和的估计是无偏的． 3. 重要性抽样方法 3.1逻辑抽样法 要用重要性抽样法解决式（2.3.3）和式（2.3.4）的问题, 首先需要选择一个重要性分布．一个很自然的想法就是选用联合分布本身来作为重要性分布, 其中, 这样就得到了逻辑抽样． 逻辑抽样法首先从分布中抽取样本．注意到分解为 其中表示那些在拓扑序排列中那些在节点之前的节点的一个集合.因此可以按照贝叶斯网的拓扑序对其中的变量逐个进行抽样: 对待抽样变量,若它是根节点, 则按分布进行抽样; 若是非根节点, 则按分布是进行抽样, 这里是父节点的抽样结果, 在对抽样时是已知的, 为顺序抽样, 此过程需要从一些单变量概率分布随即抽样． （图1） 对图1所示的贝叶斯网, 用逻辑抽样法计算, 逻辑抽样法生成一个样本的过程如下: 假设对顺序抽样过程获得了个独立样本…, 其中满足的有个, 而在这个样本中, 进一步满足的有个．根据式（2.2.3）和式（2.3.3） , 有