[计算机软件及应用]条件随机场.pptVIP

Conditional random field, CRF Zongyao Li 12-17-2012 Outline 简介 概率图模型 随机场，马尔科夫随机场 条件随机场（线性链结构） 三个问题以及解决方法 简介 序列标注 CRF，HMM(隐马模型)，MEMM(最大熵隐马模型) 隐马模型两个假设： 输出独立性假设和马尔科夫性假设。 缺点就是输出独立性假设 要求序列数据严格相互独立才能保证推到的正确性，导致其不能考虑上下文的特征，限制了特征的选择。 最大熵隐马模型 任意的选择特征，但由于其在每一节点都要进行归一化，所以只能找到局部的最优值。 标记偏见的问题（label bias），即凡是训练语料中未出现的情况全都忽略掉。 最大熵隐马模型 HMM： 状态集合Y，观察值集合X， 两个状态转移概率：从yi-1到yi的条件概率分布P(yi | yi-1)，状态yi的输出观察值概率P (xi| yi)，初始概率P0(y). MEMM： 用一个P(yi | yi-1 ,xi)分布来替代HMM中的两个条件概率分布，它表示从先前状态，在观察值下得到当前状态的概率，即根据前一状态和当前观察预测当前状态。每个这样的分布函数都是一个服从最大熵的指数模型。 标记偏见问题 HMMs  生产模型 最大熵马尔科夫  基于状态分类器的有限状态模型 图1：有限状态机区分rob和rib。 产生问题的原因： MeMMs对于状态序列的计算是局部的。 CRFs对状态序列进行全局的计算。 简介 条件随机场模型 Lafferty 2001 判别式模型 在观测序列的基础上对目标序列进行建模,重点解决序列化标注的问题 考虑到上下文标记间的转移概率 以序列化形式进行全局参数优化和解码，解决了其他判别式模型(如最大熵马尔科夫模型)难以避免的标记偏置问题。 条件随机场理论（CRFs）的应用 序列标记、数据分割、组块分析等自然语言处理任务中。 在中文分词、中文人名识别、歧义消解等汉语自然语言处理任务中都有应用，表现很好。 目前基于 CRFs 的主要系统实现有 CRF，FlexCRF，CRF++ 缺点：训练代价大、复杂度高 概率图模型 概率图模型 用图的形式表示概率分布 基于概率论中贝叶斯规则建立起来的，解决不确定性问题，可以用于人工智能、 数据挖掘、 语言处理文本分类等领域 图模型是表示随机变量之间的关系的图，图中的节点表示随机变量，缺少边表示条件独立假设。因此可以对联合分布提供一种紧致表示。 根据边是否有方向，有两种主要的图模型 无向图：亦称马尔科夫随机场(Markov Random Fields, MRF’s)或马尔科夫网络(Markov Networks) 有向图：亦称贝叶斯网络(Bayesian Networks)或信念网络(Belief Networks, BN’s) 还有混合图模型，有时称为链图(chain graphs) 概率图模型 （有向图）联合概率分布： （无向图）联合概率分布： 团与最大团 定义：无向图G中任何两个结点均有边连接的结点子集成为团。若C是无向图G的一个团，并且不能再加进任何一个G的结点使其成为一个更大的团，则称此C为最大团。 三个最大团：{A,B,C}，{C,D,E}，{D,E,F} 有向图模型示例 概率图模型 （无向图）联合概率分布： 势函数 ： 反映了极大完全子图的每种可能状态的能量。 联合概率分布： 概率图模型 有向图模型和无向图模型的对比 共同之处 将复杂的联合分布分解为多个因子的乘积 不同之处 无向图模型因子是势函数，需要全局归一 有向图模型因子是概率分布、无需全局归一 优缺点 无向图模型中势函数设计不受概率分布约束，设计灵活，但全局归一代价高 有向图模型无需全局归一、训练相对高效 随机场 两个概念：位置（site），相空间 （phase space）。 “位置”好比是一亩亩农田；“相空间”好比是种的各种庄稼、植物。 简单地讲，随机场可以看成是一组随机变量的集合（这组随机变量对应同一个样本空间）。当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。 当然，这些随机变量之间可能有依赖关系，一般来说，也只有当这些变量之间有依赖关系的时候，我们将其单独拿出来看成一个随机场才有实际意义。 Markov随机场(MRF) 马尔科夫性质 成对、局部或全局马尔科夫性 具体思想： 离当前因素比较遥远(这个遥远要根据）的因素对当前因素的性质影响小。具体情况自己定义 一个Markov随机场对应一个无向图。 每一个节点对应一个随机变量，节点之间的边表示节点对应的随机变量之间有概率依赖关系。 Mark