蔡海滨中山大学信息科学与技术学院.pptVIP

蔡海滨 中山大学信息科学与技术学院 HMM简介 HMM（Hidden Markov Model隐马尔可夫模型）是一种用参数表示的用于描述随机过程统计特性的概率模型，是一个双重随机过程，由两部分组成：马尔可夫链和一般随机过程。其中马尔可夫链用来描述状态的转移，用转移概率描述。一般随机过程用来描述状态与观察序列间的关系，用观察值概率来描述。 对HMM模型，其转换过程是不可观察的，因而称之为“隐”马尔可夫模型 Markov链 如果一个过程的“将来”仅依赖“现在”而不依 赖“过去”，则此过程具有马尔可夫性,或称此 过程为马尔可夫过程 马尔可夫链是时间和状态参数都离散的马尔 可夫过程 Markov链的数学定义 随机序列Xn ,在任一时刻n，它可以处在状态S1,S2,…,SN,且它在m+k时刻所处的状态为qm+k的概率，只与它在m时刻的状态qm有关，而与m时刻以前它所处状态无关，即有： P(Xm+k=qm+k|Xm=qm,Xm-1=qm-1,…,X1=q1) =P(Xm+k=qm+k|Xm=qm) 则称Xn 为Markov链. HMM的基本定义 HMM是在Markov链的基础上发展起来的。由于实际问题比Markov链模型所描述的更为复杂，观察到的时间并不是与状态一一对应的，而是通过一组概率分布相联系，这样的模型称为HMM。它是双重随机过程，其中之一是Markov链，这是基本随机过程，它描述状态的转移。另一个随机过程描述状态和观察值之间的统计对应关系。 HMM的定义 HMM可由如下五个元素定义： 状态的集合 观察值集合 初始概率矢量 状态转移矩阵 状态i观察的概率分布 以下将一一介绍 状态的集合 X代表一组状态的集合，其中 X={S1,S2,…,SN} 状态数为N，并用qt表示t时刻的状态。虽然状态是隐藏的，但对于很多应用来说，有一些物理的意义和状态或者状态集相关，状态内部的联系就是一个状态可以到达其他状态 观察值的集合 O代表一组可观察符号的集合 O={V1,V2,…,vM} M是从每一状态可能输出的不同观察值的数目 初始概率矢量 初始化状态分布 表示初始模型时，每一状态可取的概率 状态转移概率分布 状态转移概率分布A={aij},这里 aij=P{qt+1=Sj | qt=si} 特殊情况下，每个状态都可以一步达到其他任何状态，这时对任意（i，j） ，有aij0。对于其他的HMM，可能aij=0（对于一对或多对i，j） 状态i观察概率分布 令B={bj(k)},表示状态j输出相应观察值的概率，其中 bj(k)=P(Ot=Vk|qt=Sj), j:[1,N],k:[1:M] HMM的三个基本问题及其算法 评估问题 解码问题 学习问题 评估问题 给定观察序列O=O1O2…OT和模型U=(A,B, )计算P(O|U)。即给定模型和输出观察序列，如何计算从模型生成观察序列的概率。可以把它看作是评估一个模型和给定观察序列的匹配程度，由此可以用来在一些列候选对象中选取最佳匹配。 解决评估问题的两个算法 前向(forward)算法 后向(backward)算法 前向算法 如果希望计算给定模型参数情况下输出序列O=O1O2 …OT的出现概率P(O|U),通常采用前向(后向)算法。其复杂度为O(K2L) 观察状态序列Q：Q=q1q2…qT,其中q1表示初始状态在 状态序列出现的情况下观察序列O的概率。 定义前向变量： at(i)=P(O1O2…Ot,qt=Si|U) 表示在给定的模型下，到时间t时输出观察序列为O1O2 …Ot，并且时刻t的状态是Si的概率 前向算法流程 1) 初始化 F1(i)= bi(O1),1=i=N 2) 递推 Ft+1(j)=[∑i=1toNFt(i)*aij]*bj(Ot+1) 1=t=T-1,1=j=N 3) 终止 P(O|U)= ∑i=1toNFT(i) 后向算法 后向算法与前向算法性质是一样的，只是递推 的方向不同。定义后向变量： Ht(i)=P(Ot+1Ot+2…OT|qt=Si,U) 表示给定模型参数，当时刻t状态为Si的时候， 从t+1到序列结束的输出观察序列为Ot+1Ot+2 … OT的概率 后向算法流程 1) 初始化 HT(i)=1 1=i=N 2) 递推 Ht(j)= ∑i=1toNaji*bi(Ot+1)*Ht+1(i) 1=j=N 3) 终止 P(O|U)= ∑j=1toN *bj(O1) *H1(j) 解码问题 给定观察序列O=O