隐Markov 模型及在自然语言处理中应用.pdfVIP

《机器翻译》课程报告 隐Markov 模型及其在自然语言处理中的应用 中科院计算所96 博 王斌 1998 8 20 Markov 模型是Andrei A. Markov 提出来的现在用途十分广泛 的一个统计模型。在它基础上，又发展了各种不同的Markov 模型。 隐Markov 模型(Hidden Markov Model,HMM)是Markov 模型的一 种，它在语言建模，特别是语音识别(Speech Recognition) 中应用特 别广泛。尽管有些限制，但 HMM 在这个领域仍被认为是最成功 的模型之一。在自然语言处理的其它领域，例如词性标注 (Part-of-speech Tagging) ，应用HMM 也取得了一定的进展。本文 首先介绍一般Markov 模型的概念，然后介绍隐Markov 模型的概 念及相关问题处理算法，最后介绍其在自然语言处理中的应用。 一、一般Markov 模型 假设存在这样一个随机变量序列(通常与时间有关) ，它满足这 样的条件：每个随机变量之间并非相互独立，并且每个随机变量 只依赖序列中前面的随机变量。在很多类似的系统中，我们可以 做出这样的假设：我们可以基于现在的状态预测将来的状态而不 需要考虑过去的状态。也就是说，序列中将来的随机变量与过去 的随机变量无关，它条件地依赖于当前的随机变量，这样的随机 变量序列，通常称为一个Markov 链，或者说这个序列具有Markov 性质。 形式地，假设一个取值为 S={s ,s , …,s } 的随机变量序列 1 2 N X={X ,X ,…,X }，当该序列具有以下性质： 1 2 T (i) P(X =k|X ,X , …,X )=P(X =k|X ) t+1 1 2 t t+1 t (ii) P(X =k|X )=P(X =k|X ) t+1 t 2 1 时，我们就称该随机变量序列为Markov 链、或者一个Markov 过程，这样一个模型就称为Markov 模型。 一个Markov 模型由以下几个部分组成： 状态空间 S={s ,s , …,s }={1,2, …,N}(为方便起见，我们 1 2 N 用状态下标代表相应的状态) 状态转移概率矩阵 A={aij }, 1≤i≤N,1 ≤j ≤N Page 1 《机器翻译》课程报告 开始状态向量 Π={ π=P(X =s )},1 ≤i≤N i 1 i 随机状态序列变量 X={X ,X ,…,X } 1 2 T 其中，a =P(X =s |X =s ) 表示在序列中，前一个随机状态变量 ij t+1 j t i 为s 时后一个随机变量为s 的概率，即状态s 转移到状态s 的转 i j i j 移概率。显然， ∀i, j, a ij ≥0,且∀i, ∑a ij 1 j