条件随机场CRF专题培训课件.pptVIP

思考：给定文本标注词性他估算当前的赤字总额在9月份仅仅降低到18亿。NN、NNS、NNP、NNPS、PRP、DT、JJ分别代表普通名词单数形式、普通名词复数形式、专有名词单数形式、专有名词复数形式、代词、限定词、形容词1

复习：MarkovBlanket一个结点的MarkovBlanket是一个集合，在这个集合中的结点都给定的条件下，该结点条件独立于其他所有结点。即：一个结点的MarkovBlanket是它的parents,children以及spouses(孩子的其他parent)2

MarkovBlanket补充知识：SerumCalcium(血清钙浓度)高于2.75mmo1/L即为高钙血症。许多恶性肿瘤可并发高钙血症。以乳腺癌、骨肿瘤、肺癌、胃癌、卵巢癌、多发性骨髓瘤、急性淋巴细胞白血病等较为多见，其中乳腺癌约1/3可发生高钙血症。毒素3

图像模型考察X8的马尔科夫毯(Markovblanket)4

无向图模型有向图模型，又称作贝叶斯网络(DirectedGraphicalModels,DGM,BayesianNetwork)在有些情况下，强制对某些结点之间的边增加方向是不合适的。使用没有方向的无向边，形成了无向图模型(UndirectedGraphicalModel,UGM),又被称为马尔科夫随机场或者马尔科夫网络(MarkovRandomField,MRForMarkovnetwork)5

条件随机场设X=(X1,X2…Xn)和Y=(Y1,Y2…Ym)都是联合随机变量，若随机变量Y构成一个无向图G=(V,E)表示的马尔科夫随机场(MRF)，则条件概率分布P(Y|X)称为条件随机场(ConditionalRandomField,CRF)注：大量文献将MRF和CRF混用，包括经典著作。后面将考察为何会有该混用。6

DGM转换成UGM7

DGM转换成UGM8

条件独立的破坏靠考察是否有，则计算U的祖先图(ancestralgraph)：9

MRF的性质成对马尔科夫性parewiseMarkovproperty局部马尔科夫性localMarkovproperty全局马尔科夫性globalMarkovproperty表述说明：随机变量Y=(Y1,Y2…Ym)构成无向图G=(V,E)，结点v对应的随机变量是Yv。10

考察结点间的独立性11

成对马尔科夫性设u和v是无向图G中任意两个没有边直接连接的结点，G中其他结点的集合记做O；则在给定随机变量Yo的条件下，随机变量Yu和Yv条件独立。即：P(Yu,Yv|Yo)=P(Yu|Yo)*P(Yv|Yo)12

局部马尔科夫性设v是无向图G中任意一个结点，W是与v有边相连的所有结点，G中其他结点记做O；则在给定随机变量Yw的条件下，随机变量Yv和Yo条件独立。即：P(Yv,Yo|Yw)=P(Yv|Yw)*P(Yo|Yw)13

全局马尔科夫性设结点集合A，B是在无向图G中被结点集合C分开的任意结点集合，则在给定随机变量YC的条件下，随机变量YA和YB条件独立。即：P(YA,YB|YC)=P(YA|YC)*P(YB|YC)14

三个性质的等价性根据全局马尔科夫性，能够得到局部马尔科夫性；根据局部马尔科夫性，能够得到成对马尔科夫性；根据成对马尔科夫性，能够得到全局马尔科夫性；可以反向思考：满足这三个性质(或其一)的无向图，称为概率无向图模型。15

复习：隐马尔科夫模型16

HMM的确定HMM由初始概率分布π、状态转移概率分布A以及观测概率分布B确定。17

HMM的参数Q是所有可能的状态的集合N是可能的状态数V是所有可能的观测的集合M是可能的观测数18

HMM的参数I是长度为T的状态序列，O是对应的观测序列A是状态转移概率矩阵其中aij是在时刻t处于状态qi的条件下时刻t+1转移到状态qj的概率。19

HMM的参数B是观测概率矩阵其中，bik是在时刻t处于状态qi的条件下生成观测vk的概率。π是初始状态概率向量：其中，πi是时刻t=1处于状态qi的概率。20

HMM的参数总结HMM由初始概率分布π、状态转移概率分布A以及观测概率分布B确定。π和A决定状态序列，B决定观测序列。因此，HMM可以用三元符号表示，称为HMM的三要素：21

HMM的两个基本性质齐次假设：观测独立性假设：22

HMM的3个基本问题概率计算问题给定模型和观测序列，计算模型λ下观测序列O出现的概率P(O|λ)学习问题已知观测序列，估计模型