条件随机场模型及其应用.pdf

条件随机场模型介绍及其应用 1. 条件随机场模型介绍 条件随机域（场）（Conditional Random Fields ），简称 CRF 或CRFs，是一 种判别式的概率图模型。条件随机场是在给定随机变量X 条件下，随机变量 Y 的马尔科夫随机场。原则上，条件随机场的图模型布局是可以任意给定的，但比 较常用的是定义在线性链上的特殊的条件随机场，称为线性链条件随机场。因为 其不论在训练、推论或是解码上，都存在效率较高的算法可供演算。 [1] 条件随机场最早由John D. Lafferty 等 在2001 年提出，结合了最大熵模型 和隐马尔可夫模型的特点，是一种概率无向图模型。它常用于序列标注等问题， 比如可以用于分词（Segmentation ）、词性标注（Part of Speech ）和命名实体识别 （Named Entity Recognition ）任务。一般序列分类问题常常采用隐马尔可夫模型 [2] （HMM ） ，但隐马尔可夫模型中存在两个假设：输出独立性假设和马尔可夫 性假设。其中，输出独立性假设要求序列数据严格相互独立才能保证推导的正确 性，而事实上大多数序列数据不能被表示成一系列独立事件。而条件随机场则使 用一种概率图模型，具有表达长距离依赖性和交叠性特征的能力，能够较好地解 决标注（分类）偏置等问题的优点，而且所有特征可以进行全局归一化，能够求 得全局的最优解。 2. 概率无向图模型 由于条件随机场是在给定一组输入随机变量条件下，另一组输出随机变量的 [3] 条件概率分布模型，其特点是假设输出随机变量构成马尔科夫随机场 。因此在 本节首先介绍马尔科夫随机场，即概率无向图模型。 2.1 概率无向图模型定义 图是由结点及连接结点的边组成的集合。结点和边分别记作v 和e，结点和 边的集合分别记作V 和E ，图记作G= （V,E ）。无向图是指图的边是没有方向的。 概率图模型是由图表示的概率分布。设有联合概率分布P(Y) ，Y ∈Y 是一组 随机变量。由无向图 G= （V,E ）表示概率分布 P(Y) ，即在图G 中，结点v ∈V 表示一个随机变量Y ，Y=(Y ) ;边e ∈E 表示随机变量之间的概率依赖关系。 v v v ∈V 给定一个联合概率分布P(Y)和表示它的无向图 G.首先定义无向图表示的随 机变量之间存在的成对马尔科夫性、局部马尔科夫兴和全句马尔科夫性。这三个 [4] 性质是等价的 。 概率无向图模型的定义：设有联合概率分布 P(Y) ，由无向图G=(V,E)表示， 在图 G 中，结点表示随机变量，边表示随机变量之间的依赖关系。如果联合概 率分布 P(Y)满足成对、局部或全局马尔科夫性，就称此联合概率分布为概率无 向图模型或马尔科夫随机场模型。 2.2 概率无向图模型的因子分解 团与最大团： 无向图 G 中 任何两个结点均有边连接的结点子集称为团。 若C 是无向图G 的一个团，并且不能再加进任何一个G 的结点使其称为一个更 大的团，则称此C 为最大团。 将概率无向图模型的联合概率分布表示为其最大团上的随机变量的函数的 乘积形式的操作，称为概率无向图模型的因子分解。给定概率 模型，舍弃无向 图为G，C 表示G 上的最大团，YC 表示C 对应的随机变量。那么概率无向图模 型的联合概率分布P(Y)可写作图中所有最大团上的函数c(Yc) 的乘积形式，即 1 P(Y) c(Yc) Z c 其中，Z 是规范化因子，由下式给出： Z c(Yc) Y c