统计自然语言处理-刘挺 NLP_4.pdfVIP

隐马尔科夫模型和词性标注 刘挺 哈工大信息检索研究室 2004年春 大纲 • 隐马尔科夫模型 – 隐马尔科夫模型概述 – 任务1：计算观察序列的概率 – 任务2 ：计算能够解释观察序列的最大可能 的状态序列 – 任务3 ：根据观察序列寻找最佳参数模型 • 词性标注 隐马尔科夫模型概述 马尔科夫链 • 状态序列: X , X , X , … 1 2 3 – 常常是“ 时序”的 • 从X 到X 的转换只依赖于X t-1 t t-1 X1 X2 X3 X4 转移概率 Transition Probabilities • 假设一个状态X 有N个可能的值 t – X =s , X =s ,….., X =s . t 1 t 2 t N • 转移概率的数量为：N2 – P(X =s |X =s ), 1 ≤ i, j ≤N t i t-1 j • 转移概率可以表示为N ×N 的矩阵或者有 向图 MM • Bigram MM(一阶MM) MM • Trigram MM(二阶MM) 有限状态自动机 • 状态：输入输出字母表中的符号 • 弧：状态的转移 • 仍然是VMM (Visible MM) HMM • HMM，从状态产生输出 HMM • HMM，不同状态可能产生相同输出 HMM • HMM，从弧产生输出 HMM • HMM，输出带有概率 HMM • HMM，两个状态间有多条弧，具有不 同的概率 隐马尔可夫模型 Hidden Markov Model • 估算隐藏于表面事件背后的事件的概率 – 观察到一个人每天带雨伞的情况，反过来 推测天气情况 Hidden Markov Model • HMM是一个五元组(S, S ,Y, Ps, P ). 0 Y – S : {s …s }是状态集，S 是初始状态 1 T 0 – Y : {y1…yV }是输出字母表 – P (s |s ):转移(transition)概率的分布，也表示为a