包含连续变量的贝叶斯网络.pptVIP

Example D A B c F E g Reordering: Sb p(a|b) Sd p(b|d,c) Se p(d|e) p(e|g) p(d|g) Example D A B c F E g Reordering: Sb p(a|b) Sd p(b|d,c) p(d|g) p(b|c,g) Example D A B c F E g Reordering: Sb p(a|b) p(b|c,g) p(a|c,g) Complexity is O(m), compared to O(m4) （2）变量消元算法 消除重复计算，提高枚举算法的效率 保存中间结果，以备多次使用 从右到左（在树结构中为自底向上）的次序计算BN的计算公式 算法过程：参见《人工智能：一种现代方法》中的第14章14.4.2节 （3）Clustering算法（Joint Tree算法） 单独节点联合起来形成Cluster节点，使得BN结构成为一棵多树（Polytree） 多树——单连通网络，即任何两节点间至多只有一条路径相连 概率推理包含命题逻辑推理作为其特殊情况，故BN的推理是一个NP问题 在多连通的BN结构中，及时每个节点的父节点个数有固定的界限，在最坏的情况下，变量消元算法仍可能具有指数级时间和空间复杂度 多连通网络及其CPT： Cloudy Rain Wet Grass Sprinkler S R P(W) t t t f f t f f 0.99 0.90 0.90 0.00 C P(S) t f 0.10 0.50 P(C) 0.50 C P(R) t f 0.80 0.20 等价的联合树及其CPT： Cloudy Spr+Rain Wet Grass S + R P(W) t t t f f t f f 0.99 0.90 0.90 0.00 P(C) 0.50 7.5 贝叶斯网络的近似推理 大规模多连通BN的精确推理是不可操作的， 必须通过近似推理来解决。 后验概率计算的主要采样方法 直接采样方法 马尔可夫链蒙特卡罗（MCMC）方法 变分法(Variational method) 环传播(Loopy propagation)方法 直接采样方法： 直接采样算法 拒绝采样(Rejection sampling)算法 似然加权(Likelihood weighting)算法 上述方法的详细步骤请参见： 《人工智能：一种现代方法》第14章14.5.1节 Berkeley大学Russell等人制作的PPT / 马尔可夫链蒙特卡罗（MCMC）算法思想： 对前一个事件进行随机改变而生成事件样本 BN为每个变量指定了一个特定的当前状态 下一个状态是通过对某个非证据变量Xi进行采样来产生，取决于Xi的马尔可夫覆盖中的变量当前值 MCMC方法可视为：在状态空间中—所有可能的完整赋值空间—的随机走动—每次改变一个变量，但是证据变量的值固定不变。 MCMC算法执行过程示例： Cloudy Rain Wet Grass Sprinkler S R P(W) t t t f f t f f 0.99 0.90 0.90 0.00 C P(S) t f 0.10 0.50 P(C) 0.50 C P(R) t f 0.80 0.20 【要求】：查询P(Rain | Sprinkler = true, WetGrass = true)的概率 MCMC算法执行步骤： 证据变量Sprinkler, WetGrass固定为true 隐变量Cloudy和查询变量Rain随机初始化，例如， Cloudy = true, Rain = false，初始状态为：[C=true, S=true, R=false, W=true] 反复执行如下步骤： （1） 根据Cloudy的马尔可夫覆盖(MB)变量的当前值，对Cloudy采样，即根据P(Cloudy|Sprinkler= true, Rain=false)（即转移概率）来采样。即： P(C|S, ~R) = P(C,S,~R) / P(S, ~R) = P(C)P(S|C)P(~R|C) / [P(C)P(S|C)P(~R|C)+P(~C)P(S|~C)P(~R|~C)] =(0.5?0.1?0.2) / [0.5?0.1?0.2+0.5? 0.5?0.8]=0.0476