第六章 马尔可夫模型.pdf

第六章马尔可夫模型 马尔可夫模型 • 马尔可夫模型是一种统计模型,广泛地应用在语 音识别，词性自动标注，音字转换，概率文法 等各个自然语言处理的应用领域。 • 马尔可夫(1856～1922)，苏联数学家。切比雪 夫的学生。在概率论、数论、函数逼近论和微 分方程等方面卓有成就。 • 经过长期发展，尤其是在语音识别中的成功应 用，使它成为一种通用的统计工具。 马尔可夫模型的典型应用 • 语音识别 • 音字转换 • 词性标注 回顾:n-gram语言模型 • 链规则： • N-gram语言模型: – N-1 阶马尔可夫过程（链） – 仅适用一种概率分布进行统计推导，例如在 trigram模型中， 马尔可夫假设（特征） • 设X=(X , .., X )是随机变量序列，其中每个随 1 t 机变量的取值在有限集S={s , …, s }, S称为状 1 n 态空间, 马尔可夫特征是： • 有限历史假设（Limited (Horizon ， Context,History）) : – P(X =s |X , .., X )=P(X = s |X ) t+1 k 1 t t+1 k t • 时间不变性假设（Time Invariant）（马尔可夫 过程的稳定性假设）: – 这种条件依赖，不随时间的改变而改变。 i {1,2,3...,T },y ,x S ,P (Xi y | Xi1 x ) p (y | x ) • 如果X具有这些特征，那么这个随机变量序列 称为一个马尔可夫过程（链） N 阶马尔可夫模型 • Trigram的情形： • 只需修改状态空间的定义S S S – 定义新的变量Q S 使得 i • 并且约定： 马尔可夫模型的形式化表示 • 一个马尔可夫模型是一个三元组(S, , A) 其中S是状态的集合，是初始状态的概率, A是状态间的转移概率。 马尔可夫模型的图形表示 • 状态集合 • 分布 • 由状态i到状态j 之间的转移弧上有一个条 件转移概率: 隐马尔可夫模型(HMM) • 各个状态（或者状态转移弧）都有一个 输出,但是状态是不可见的。 • 最简单的情形:不同的状态只能有不同的 输出 隐马尔可夫模型 • 增加一点灵活性：不同的状态，可以输 出相同的输出： 隐马尔可夫模型 • 再增加一点灵活性：输出在状态转移中 进行。 隐马尔可夫模型 • 最大的灵活性：在状态转移中以特定的 概率分布输出 HMM 的形式化定义 • HMM是一个五元组(S, K, , A, B) ，其 中S是状态的集合，K是输出字符的集 合， 是初始状态的概率，A是状态转 移的概率。B是状态转移时输出字符的概 率。 马尔可夫过程程序 t:= 1; 以概率在状态s 开始(i.e., X =i) i i 1 Forever do Move from state s to state s with i j probability ai