统计学条件随机场.pdfVIP

目录 1. 概率无向图模型 2. 条件随机场的定义与形式 3. 条件随机场的概率计算问题 4. 条件随机场的学习算法 5. 条件随机场的预测算法 一、概率无向图模型 概念： 概率无向图模型(probabilistic undirected graphical model) 马尔可夫随机场(Markov random field) 可以由无向图表示的联合概率分布。 模型定义 Graph Node Edge  v, 集合V  e ，集合E G= （V ，E ）  结点v ，随机变量Y ；边e ，随机变量间的概率依赖关系 v 概率图模型(Probabilistic graphical model): 用图表示的 概率分布。 模型定义 定义： 给定一个联合概率分布P(Y)和表示它的无向图G， 定义无向图表示的随机变量之间存在的 成对马尔可夫性(pairwise Markov property) 局部马尔可夫性( local Markov properly) 全局马尔可夫性(global Markov property) 模型定义 成对马尔可夫性(Pairwise Markov property) 设u和v是无向图G 中任意两个没有边连接的结点，结点u 和v分别对应随机变量Yu和Yv ， 其他所有结点为O，对应的随机变量组是Y0 给定随机变量组Y0 的条件下随机变量Yu和Yv是条件独立 的 模型定义 局部马尔可夫性( Local Markov properly)  v 任意结点  W与v有边相连  O 其它 在 时，等价于 模型定义 全局马尔可夫性(Global Markov property) 结点集合A, B是在无向图G 中被结点集合C分开的任意结 点集合， 模型定义 概率无向图模型： 设有联合概率分布P(Y), 由无向图G=(V, E)表示，在图G 中， 结点表示随机变量，边表示随机变量之间的依赖关系, 如果联合概率分布P(Y)满足成对、局部或全局马尔可夫性， 就称此联合概率分布为概率无向图模型(probability undirected graphical model)，或马尔可夫随机场(Markov random field). 问题关键：求联合概率，引申为对联合概率进行因子分 解。 概率无向图模型的因子分解 定义：团、最大团 无向图G 中任何两个结点均有边连接的结点子集称为团 (clique) 。 若C是无向图G的一个团，井且不能再加进任何一个c 的 结点使其成为一个更大的团，则称此C为最大团 (maximal clique). 两个结点的团 ？ 三个结点的团 ？ 概率无向图模型的因子分解 将概率无向图模型的联合概率分布表示为其最大团上的 随机变量的函数的乘积形式的操作，称为概率无向图模 型的因子分解(Factorization).  给定概率无向图模型，设其无向图为G，C为G上的最 大团，Yc表示C对应的随机变量，那么概率无向图模型 的联合概率分布P(Y)可写作图中所有最大团C上的函数 .的乘积形式，即 Z是规范化因子(normalization factor) 概率无向图模型的因子分解 势函数： 定理11.1 (Hammersley-Clifford定理)：概率无向图模型 的联合概率分布P(Y)可以表示为如下形式: 二、条件随机场的定义与形式 条件随机场(conditional random field)的定义： 给定随机变量X条件下，随机变量Y 的马尔可夫随机场。 定义在线性链上的特殊的条件随机场： 线性链条件随机场(linear chain conditional random field ) 线性链条件随机场可以用于标注等问题； 在条件概率模型P(Y |X) 中，Y是输出变量，表示标记序列， X是