Graphicalmodel学习笔记.pdfVIP

Graphical model 学习笔记 1. 相关推导释疑 P (A) ∑P (A | B )P (B l ) l 其中第一步是全概率公式，其实也是边缘分布 ∑P (A,B l ) l 第二步是联合公式，P (A, B ) P (A | B )P (B ) 因此 P（F , A,B ） ∑C ∑D ∑EP (A,B,C ,D,E ,F ) P (F | A, B ) ＝ ，该公式见“ An P (A, B ) ∑ ∑ ∑ ∑ P (A,B,C ,D,E ,F ) C D E F introduction to graphical model.pdf ”第五页 ，该公式见 “HMM II Some theory for HMMs.pdf ” 2. 几个常用公式 1) P (A, B |C ) P (A | B ,C )P (B | C ) ，主要是在马尔科夫无后效性时使用 2) P (A, B ,C ) P (A | B ,C )P (B ,C ) P (A | B ,C )P (B |C )P (C ) 3. 从图模型中推导出条件概率独立 如果 ，也就是 1) 根据公式从图中推导 如上图，表明A 与B 在给定C （或者说观察到C ）的情况下条件独立，记作AB |C 。 证明： 由图可知：P (A, B ,C ) P (A)P (C | A)P (B |C ) 而其实上P (A, B ,C ) P (A)P (C | A)P (B |C , A) 比较上述两式可知：P (B |C , A) P (B |C ) ，因而由条件独立的定义可知AB |C 。 因而我们在已知某些条件独立的情况下，可以在图模型中将这些边去掉，如上图，去掉 了从A 指向B 的边。 如果在上图中，A 表示过去状态，C 表示现在状态，B 表示将来状态，那么A 与B 在给 定C 的情况下条件独立就是典型的马尔科夫链。 条件独立的变量必处于不同的因式中，如上图中P (A, B ,C ) P (A)P (C | A)P (B |C ) ， 由于A 和B 条件独立，因此A,B 处于不同的因式中。故可知，如果多个变量如果没有 条件独立，则其联合概率图模型必然是全连接，如A ，B ，C 三个变量没有条件独立性， 则P (A, B ,C ) P (A)P (C | A)P (B |C , A) ，其对应的图模型如下： 对于无向图而言，全连接的节点为一个 clique，由有向图的分析可知，条件独立的变量 其在联合概率中必处于不同的因式，而全连接中的节点（变量）不存在条件独立性，因 而无向图的联合概率是以各个最大clique 的potential function 相乘。 2) 定义1 对于图中所有结点i ∈V 其父结点在该结点之前出现的次序I 称为一种拓扑次序，如下 图的次序I =(1,2,3,4,5,6)就是一种拓扑次序。 定义2 将在拓扑次序 vi I 中，早于结点i 出现的集合（但不包括结点i 的父结点）定义为 ,例如 下图中的v5 {1,2,4} 定理 在给定图 某一拓扑次序I 下，对于 有如下条件独立性： ，其中 为结点 的父结点，例如，对于上图有以下条件独立性 X πi i 4. 消去算法 4.1 隐马尔科