《隐马尔可夫模型综述》.doc

隐马尔可夫模型综述 于江德 摘　要：隐马尔可夫模型是一种有着广泛应用的统计模型，它是在马尔可夫模型基础上发展起来的。本文首先简要介绍了马尔可夫模型，然后对隐马尔可夫模型的基本概念、一般形式、三个基本问题及其解决算法进行了详细介绍，最后就隐马尔可夫模型的应用及当前研究的热点、难点进行了论述。 关键字：马尔可夫模型；隐马尔可夫模型；前向算法；后向算法；韦特比算法 引言 隐马尔可夫模型（Hidden Markov Model，简称HMM）是一种用参数表示，用于描述随机过程统计特性的概率模型，它是在马尔可夫模型基础上发展起来的。早在20世纪的60年代末和70年代初，HMM的基本理论就由Baum等人建立起来了，并由卡耐基－梅隆大学（CMU）的Baker和IBM的Jelinek等人将其应用到语音识别之中，取得了很大的成功[1]。但是，HMM引起世界各国从事语音处理研究的学者们广泛关注，并成为语音识别系统中构建统计模型的重要手段，却是20世纪80年代中期以后的事情，究其原因主要有两个[1]：首先，HMM理论起先发表在数学杂志上，并未被很多从事语音处理研究的工程技术人员获悉。其次，HMM首次应用于语音处理时，并没有提供足够的一般性介绍，从而使得多数研究人员无法理解其基本理论并将其应用到自己所从事的研究中去。直到1983年以后，Bell实验室的Rabiner等人发表了很有影响的一系列系统介绍HMM的理论和应用的文章[1]上述状况才得以根本改变。从上世纪80年代末开始，马尔可夫模型和隐马模型除了在语音识别领域继续得到广泛应用外，从上世纪90年代初到现在，HMM开始用到许多新的领域，如：自然语言处理领域的词性标注（Part-of-speech Tagging）[2～7]、命名实体识别[8]、特定信息抽取[9,10]、词法分析等；生物信息学中HMM被广泛用来分析基因序列[2,11]等。 由于HMM是建立在马尔可夫模型基础之上的，因此，本文首先简要介绍马尔可夫模型，然后对隐马尔可夫模型的基本概念、一般形式、三个基本问题及其解决算法进行详细介绍，最后就隐马尔可夫模型的应用及当前研究的热点、难点进行论述。 马尔可夫模型 马尔可夫模型最早是由Andrei A. Markov于1913年提出的[2],它的最初始目的是为了语言上的应用，即为俄国文学作品中的字母序列建模，随后马尔可夫模型发展成了一个通用的统计模型。为了区别于HMM，一般把马尔可夫模型称为显马尔可夫模型（Visible Markov Model，简称VMM）。 马尔可夫模型描述了一类重要的随机过程，该过程对应了一个随机变量序列（通常与时间有关），该序列满足这样的条件：序列中的随机变量值只依赖于它前面的随机变量。这样的随机变量序列，通常称为一个马尔可夫链。在实际工作中有很多类似的系统，该系统有N个状态S1，S2，……,SN,随着时间的推移，该系统从某一状态转移到另一状态。我们将在时间t的状态记为qt。对该系统的描述通常需要给出系统的当前状态（时间为t的状态）及其之前的所有状态，这些状态序列就构成了随机变量序列。 综上所述，我们可以给出马尔可夫模型如下形式定义： 假设一个取值为S={s1,s2, .,sN}的随机变量序列X={X1,X2,.,XT}，当该序列具有以下性质： （1）有限视野性：即当前状态只与前n个状态有关,如公式2.1所示。 P(qt=sj|qt-1=si,qt-2=s,……)= P(qt=sj|qt-1=si,qt-2=s,…,qt-n) （2.1） 如果在特定情况下，系统在时间t的状态只与其在时间t-1的状态相关，则该系统构成一个离散的一阶马尔可夫链，公式2.1就简化为2.2： P(qt=sj|qt-1=si,qt-2=s,……)= P(qt=sj|qt-1=si) （2.2） （2）时间不变性：即只考虑公式2.2独立于时间t的随机过程，也就是说对任何时间t该公式都成立。 P(qt=sj|qt-1=si,qt-2=s,……)= P(qt=sj|qt-1=si)=aij 1≤i，j≥N （2.3） 该概率aij就称为状态转移概率。我们就称该随机变量序列为马尔可夫链、或者一个马尔可夫过程，这样一个模型就称为马尔可夫模型。 显而易见一个马尔可夫模型由以下几个部分组成： 状态空间S={s1,s2, .,sN} 随机状态序列变量X={X1,X2,.,XT} 状态转移概率矩阵A={aij}, 1≤i≤N,1≤j≤N 开始状态向量Π={πi=P(X1=si)},1≤i≤N 这样，可以记一个马尔可夫模型为一个四元组： λ＝{S，X，П，A} 或简写为一个二元组： λ＝{П，A} 马尔可夫模型也可