条件随机场CRF简介-sulley.PDF

条件随机场(CRF)简介 条件随机场(conditional random fi ld, CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模 型，其特点是假设输出随机变量构成马尔科夫随机场。 概率无向图模型 概率无向图模型，又称马尔科夫随机场，是一个可以由无向图表示的联合概率分布。 模型定义 图是由结点及边组成的集合，记作 ，其集合为 ， 图 。 概率图模型是由图表示的概率分布，设有联合概率分布 ， 是一组随机变量。由无向图 表示概率分布 ， 即在图 中，结点 表示一个随机变量 ， ；边 表示随机变量之间的概率依赖关系。 给定一个联合概率分布 和表示它的无向图 ，首先定义无向图表示的随机变量之间存在的成对马尔科夫性 (pairwis Markov prop rty)、局部马尔科夫性(local Markov prop rty)和全局马尔科夫性(global Markov prop rty)。 成对马尔科夫性 ：设 是任意两个没有边连接的结点，分别对应随机变量 ，其他所有结点为 ，对应的随机 变量组是 。成对马尔科夫性是指给定随机变量组 的条件下随机变量 是条件独立的，即 局部马尔科夫性 ：设是无向图 中任意一个结点， 是与 有边相连的所有结点， 是 以外的所有结点。局部 马尔科夫性是指在给定随机变量组 的条件下随机变量 与随机变量组 是独立的，即 在 时，等价地 全局马尔科夫性 ：设结点集合 是在无向图中被结点集合 分开的任意结点集合。全局马尔科夫性指给定随机变 量组 条件下随机变量组 是条件独立的，即 上述成对的、局部的、全局的马尔科夫性定义是等价的。 定义(概率无向图模型) ：设有联合概率分布 ，由无向图 表示，在图中，结点表示随机变量，边表示之间的依 赖关系。如果联合概率分布 满足成对、局部或全局马尔科夫性，就称此联合概率分布为概率无向图模型，或 马尔科夫随机场。 实际上，我们更关心的是如何求其联合概率分布。对给定的概率无向图模型，我们希望将整体的联合概率写成若干 子联合概率的乘积的形式，也就是将联合概率进行因子分解。 概率无向图模型的因子分解 定义(团与最大团) ：无向图 中任何两个结点均有边连接的结点子集称为团(cliqu )。若 是一个团，并且不能再加 进任何一个 的结点成为一个更大的团，则 为最大团。 将概率无向图模型的联合概率分布表示为其最大团上的随机变量的函数的乘积形式的操作，称为概率无向图模型的 因子分解。 给定概率无向图模型，设其无向图为 ， 为最大团， 表示其对应的随机变量。那么概率无向图的联合概率分布 可写作图中所有最大团 上的函数 的乘积形式，即 函数 称为势函数，这里要求势函数 是严格正的，通常定义为指数函数： 定理(Hamm rsl y-Cliord) ：概率无向图模型的联合概率分布 可以表示为如下形式： 其中， 是无向图的最大团， 是 的结点对应的随机变量， 是C上定义的严格正函数，乘积是在无向图所 有的最大团上进行的。 条件随机场的定义与形式 条件随机场的定义 条