条件随机场论述.pptVIP

* B模板即前面给出的模板，A模板是B模板除去T特征的模板 * 分别进行开放测试和封闭测试 * * * * 谢 谢！ * * * * * * Hammersley-Clifford不太懂 * * 特征函数。。。。 * * * 条件概率参数化 * 随机场 我们不妨拿种地来打个比方。其中有两个概念：位置（site），相空间 （phase space）。“位置”好比是一亩亩农田；“相空间”好比是种的各种庄稼。我们可以给不同的地种上不同的庄稼，这就好比给随机场的每个“位置”，赋予相空间里不同的值。所以，俗气点说，随机场就是在哪块地里种什么庄稼的事情。 简单地讲，随机场可以看成是一组随机变量的集合（这组随机变量对应同一个样本空间）。当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。 当然，这些随机变量之间可能有依赖关系，一般来说，也只有当这些变量之间有依赖关系的时候，我们将其单独拿出来看成一个随机场才有实际意义。  * Markov随机场(MRF) 具有马尔科夫性质 体现了一个思想：离当前因素比较遥远(这个遥远要根据具体情况自己定义）的因素对当前因素的性质影响不大。 首先，一个Markov随机场对应一个无向图。这个无向图上的每一个节点对应一个随机变量，节点之间的边表示节点对应的随机变量之间有概率依赖关系。因此，Markov随机场的结构本质上反应了我们的先验知识——哪些变量之间有依赖关系需要考虑，而哪些可以忽略。 现在，如果给定的MRF中每个随机变量下面还有观察值，我们要确定的是给定观察集合下，这个MRF的分布，也就是条件分布，那么这个MRF就称为CRF(Conditional Random Field)。它的条件分布形式完全类似于MRF的分布形式,只不过多了一个观察集合x 最通用角度来看，CRF本质上是给定了观察值集合(observations)的马尔可夫随机场。 * 条件随机场模型是一种无向图模型，它是在给定需要标记的观察序列的条件下，计算整个标记序列的联合概率分布，而不是在给定当前状态条件下，定义下一个状态的状态分布。即给定观察序列O,求最佳序列S。、 这时候，我们称（X，Y）为一个条件随机场 * 势函数 在无向图中，任何一个全连通（任意两个顶点间都有边相连）的子图称为一个团(clique)，而称不能被其它团所包含的才为最大团(maxi mal clique)。 尽管在给定每个节点的条件下，分配给该节点一个条件概率是可能的，但条件随机场的无向性很难保证每个节点在给定它的邻接点条件下得到的条件概率和以图中其它节点为条件得到的条件概率一致。因此导致我们不能用条件概率参数化表示联合概率，而要从一组条件独立的原则中找出一系列局部函数的乘积来表示联合概率。选择局部函数时，必须保证能够通过分解联合概率使没有边的两个节点不出现在同一局部函数中。 最简单的局部函数是定义在图结构中的最大团(clique)上的势函数(Potential function)，并且是严格正实值的函数形式。 * 概率图内容 势函数 为了满足概率公理，则必须引入一个归一化因子Z ，这样可以确保势函数的乘积满足概率公理，且是G中节点所表示的随机变量的联合概率分布。 其中C为最大团集合，利用 Hammersley-Clifford 定理，可以得到联合概率公式如下： * 基于条件独立的概念，条件随机场的无向图结构可以用来把关于 Υ ∈ Υv 的联合分布因式化正的和实值的势函数的乘积，每个势函数操作在一个由G 中顶点组成的随机变量子集上。根据无向图模型条件独立的定义，如果两个顶点间没有边，则意味着这顶点这些顶点对应的随机变量在给定图中其它顶点条件下是条件独立的。 所以在因式化条件独立的随机变量联合概率时，必须确保这些随机变量不在同一个势函数中。满足这个要求的最容易的方法是要求每个势函数操作在一个图G 的最大团上，这些最大团由随机变量相应顶点组成。这确保了没有边的顶点在不同的势函数中，在同一个最大团中的顶点都是有边相连的。 * 链式条件随机场模型的图结构 * 条件随机场概率模型的形式 * 条件随机场概率模型的形式 * 条件随机场概率模型的形式 * 条件随机场概率模型的形式 * 条件随机场模型的参数估计 由最大熵模型可知参数估计的实质是对概率的对数最大似然函数求最值，即运用最优化理论循环迭代，直到函数收敛或达到给定的迭代次数。建立条件随机场模型的主要任务是从训练数据中估计特征的权重λ * 条件随机场模型的参数估计 * 条件随机场模型的参数估计 * 通过梯度为零来求解参数λ并不一定总是得到一个近似解， 因而需要利用一些迭代技术来选择参数， 使对数似然函数最大化。 通常采用的方法是改进的迭代缩放 （Improved Iterati