机器学习 课件 7.4条件随机场.pdf

条件随机场

条件随机场

条件随机场（conditionalrandomfield，CRF）JohnLafferty等人2001年提出

Ø一种条件概率分布模型P(Y|X)，表示的是给定一组输入随机变量的条件下

另一组输出随机变量的马尔可夫随机场

Ø一种直接建模条件概率的判别式无向图模型

条件随机场

条件随机场

假设条件随机场的最大团集合为C，其条件概率为：

1

=exp(()

假设X,…

为观测序列，Y,…

为与之相应的标记序列，

1212

()

则条件随机场的目标是构建条件概率模型。

条件随机场

条件随机场

=

令表示节点与标记变量Y中元素一一对应的无向图，表示

与节点对应的标记变量，设X与Y是随机变量，p(Y|X)是条件概率分布，

如果随机变量Y构成一个由无向图表示的马尔可夫随机场，即

|,∈\)=|,∈)

对任意结点v成立，则称条件概率分布p(Y|X)为条件随机场。

vV\{u}

其中表示结点v可以取无向图中除结点u以外的任一结点，表示

n(u)

结点u的邻接结点集

条件随机场

线性条件随机场

设X,…

，Y,…

为线性链表示的随机变量序列。

1212

若条件概率分布构成条件随机场，即

|,,...,,...,)=|,),=1,2,...,

121111

则称p(Y|X)为线性链条件随机场。在=1,时只考虑单边。

XY

n1

以词性标注为例，X表示输入的句子，表示第n-1位置上的文本；Y表示对应的词性序列，表示第n-1位置上的词性。