马尔科夫逻辑网络.PDF

马尔科夫逻辑网络 从贝叶斯信念网到马尔科夫逻辑网 高 阳 /gaoy, 2016.10.26 大纲 马尔科夫网和一阶逻辑 马尔科夫逻辑网 马尔科夫网络推理 近似推理 马尔科夫网和一阶逻辑 Markov链 考虑一个N(有限)状态{s ,s ,…,s }的系统： 1 2 n 俄罗斯数学家 在离散的时间序列中{t ,t ,…}，其在时间t的状态记为X , 1 2 t 系统在时间t处在状态s (1≤j ≤ n) 的概率取决与其在时间1,2,…,t-1 j 的状态： P , ,…, 一阶马尔科夫链 P , ,…, =P Markov网 有向图+ 概率分布：Bayesian Network 无向图+ 概率分布：Markov Network(Markov Random Field, MRF) ，G=(V, E) 顶点：随机变量V 边：变量间的依赖关系E 团(Clique) ：各边所在的最大全联通子图 势函数：为非负函数，表示团的一个状态 联合分布函数 吉布斯测度：已知一种分配方案x ，求MLN刚好为该情况 的联合分布概率 配分函数：所有分配方案的测度总和 对数线性模型 对数线性模型：马尔可夫网络常表示为该模型，通过引入 特征函数 配分函数： 将每个团的势函数表示为指数函数，指数项为对应团的加权特征量 Markov逻辑网的独立性 Pairwise Markov Property: 给定所有其他变量，任意两个不相邻变量条 件独立。 Local Markov Property ：一个变量如果给定所有邻居变量后与所有其他 变量条件独立。 Global Markov Property ：A 、B两个子集间任何一条路径都经过子集S， 则给定S后，A 、B两个子集相互条件独立。 一个无向图G=(V, E) ，是马尔可夫网络的充分必要条件是： 当且仅当其满足以上三条独立性质。 构建马尔可夫网络 方法一：基于Pairwise Markov Property 如果满足下面条件，则在X和Y之间加边； 方法二：基于Local Markov Property 集合U是X 的马尔可夫毯(Markov blanket ，X 的邻居节点集合) ，给 定U ，X独立于余下的变量； 一个班上有四名同学，A 、B 、C 、D ，他们每次做作业都会 与其他人讨论，但是由于不明原因，A和C 、B和D从不一起 讨论。当老师上课讲错知识点时，每个学生有一定几率自己 发现这个错误，当他发现错误时又可能将这个发现告诉自己 讨论的对象。这时我们有了四个随机变量{A,B,C,D}，他们 取值为1时表示发现了错误，为0时表示未发现，我们可以获 得如下独立性质: (A ⊥C|{B,D}) 、(B ⊥D|{A,C}) 构造贝叶斯网络 第一次尝试 第二次尝试 A B D B D C