统计的关系学习模型Markov逻辑网综述.docVIP

统计的关系学习模型Markov逻辑网综述 　　摘 要：统计关系学习是人工智能研究的热点，在生物信息学、地理信息系统和自然语言理解等领域有着重要应用，Markov逻辑网是将Markov网与一阶逻辑相结合的一种全新的统计关系学习模型。介绍了Markov逻辑网的理论模型和学习方法，并探讨了目前存在的问题和研究方向。 　　关键词：统计关系学习； 一阶逻辑； Markov网； 机器学习； Markov逻辑网?? 　　中图法分类号：TP30文献标识码：A 　　文章编号：1001―3695(2007)02―0001―03 　　近年来，统计关系学习（Statistical Relational Learning, SRL）已成为人工智能领域的一个重要研究热点，它在生物信息学、系统生物学、Web导航、社会网、似然模型获取与利用、地理信息系统和自然语言理解等领域，都取得了成功应用[1―3]。统计关系学习，又称概率逻辑学习（Probabilistic Logic ??Lear?勃???ning??，PLL），是将关系/逻辑表示、概率推理机制（不确定性处理）、机器学习和数据挖掘集成在一起[4]，以获取关系数据中的似然模型[5,6]。统计关系学习中的“统计”是指采用基于概率论的概率表示和推理机制，如图模型（Bayesian网、Markov网）、（隐）马尔卡夫模型、随机文法等；“关系/逻辑”是指一阶逻辑表示和关系表示；“学习”则等同于数据挖掘，是指从数据中学得统计关系模型。目前统计关系学习方法主要有基于Bayesian网的SRL方法、基于（隐）Markov模型的SRL方法、基于随机文法的SRL方法和基于Markov网的SRL方法等[7]。Markov逻辑网（Markov Logic Networks，MLNs）是将Markov网与一阶逻辑相结合的SRL方法，其最早于2004年由Richardson等人[8]提出，之后经过Domingos[9]，Kok[10], Singla等人[11]的研究，使MLNs得到进一步完善。MLNs本质上是公式附加权值的一阶逻辑知识库，是构建Markov网的模板；MLNs将领域知识引入Markov网，为大型Markov网提供一种简洁的描述语言，为一阶逻辑增加了不确定性处理能力；MLNs还可以作为很多统计关系学习任务的统一框架[9]。?? 　　 　　1 一阶逻辑和Markov网的基本概念?? 　　一阶逻辑是建立在一阶语言基础上的逻辑体系[12]。一阶语言作为一阶逻辑的形式语言，主要由个体词、谓词符号、函词符号、量词符号、联结词符号、括号和逗号连接而成。个体词是指所研究的对象中可以独立存在的具体或抽象的客体；将表示具体或者特定的客体个体词称为个体常项；将表示抽象或者泛指的个体词称为个体变项，个体变项的取值范围称为个体域（记为D）。谓词是用来刻画个体词性质及个体词之间相互关系的词，n元谓词是从Dn到{T,F}的映射，没有个体变项出现的谓词称为闭谓词。公式是由个体常项、个体变项、函词和谓词通过逻辑联结词和量词（还有括号）连接起来的抽象符号串，没有个体变项出现的公式称为闭公式。?? 　　一阶逻辑知识库是一阶逻辑公式所构成的集合[13]。一个可能世界（A Possible World）就是为每个可能的闭谓词指定真值。某一阶公式是可满足的，当且仅当该公式至少在一个世界中为真。一阶逻辑的基本推理问题就是判断一个知识库中是否包含公式F，即F??是否在所有满足知识库的世界中为真。 　　 　　2 Markov逻辑网 　　一阶逻辑知识库是一阶逻辑公式所构成的集合，亦可看作施加于可能世界集合上的限制集合。在一阶逻辑知识库中，每个可能世界必须满足知识库中的所有公式，否则该世界不可能存在（发生概率为0）。Markov逻辑网的基本思想是将一阶逻辑的限制放松，即一个世界违反公式越多，其发生概率越小，但未必为0。用公式权值来表示公式限制强度的大小，权值越大，满足该公式世界的发生概率与不满足该公式世界的发生概率之间的差就越大。随着公式上权值的增加，Markov逻辑网逐渐向纯一阶逻辑知识库靠拢。所谓Markov逻辑网L[8]，就是二元组集合{(Fi,wi)}mi=1，其中F??i为一阶逻辑公式，实数wi为公式Fi的权值。给定Markov逻辑网L和有限个体常项集合C={C1,C2,…,C|C|}，则可生成一个以闭谓词为节点、闭谓词关系为边的 　　由上述说明不难看出，对于同一个MLNs，给定不同个体常项集合，产生不同Markov网，这些网可能规模不一，但对应同一公式的所有闭公式均拥有相同权值，可称其为闭Markov逻辑网。我们以下例说明闭Markov逻辑网的生成。 　　式（5）即为闭Markov逻辑网ML,C关于世界x的可计算的概率分布，其