《统计自然语言处理与信息检索》第3讲隐马尔可夫模型及其应用5.pptVIP

评估问题 后向算法 与向前算法类似：定义向后变量 初始化： 递归： 终结： 隐Markov模型的三个基本问题及其算法（4） 隐Markov模型的三个基本问题及其算法（5） 问题2：解码问题 给定一个观察序列 和模型λ，如何计算状态序列 ，使得该状态序列能“最好地解释”观察序列。 所求的 Q 应当在某个准则下是 “ 最优 ” 的 , 因此也称 Q 为最优路径 , 解码问题即是确定最优路径的问题。 该问题可形式化为： 公式3.3 解码问题 隐Markov模型的三个基本问题及其算法（6） 假定有 N 个词性标记，给定词串中有 M 个词 考虑最坏的情况：每个词都有N个可能的词性标记，则可能的 状态序列有 NM 个 随着M（词串长度）的增加，需要计算的可能路径数 目以指数方式增长， 需要寻找更有效的算法…… 效率问题 解码问题 词性是状态，词语是观察符号 隐Markov模型的三个基本问题及其算法（7） Viterbi算法：基于Viterbi变量的动态规划算法 Viterbi变量：在时间 t 沿状态序列 q1q2...qt 且qt=Si而产生出 O1O2…Ot 的最大概率，即： 公式3.4 Viterbi变量说明的是，从初始状态到 t 时刻的状态 Si 的所有路径中，必有一条路径，能够使得你观察到O1O2…Ot 序列的概率最大，也即这条路径最好的解释了O1O2…Ot 序列的出现。 解码问题 隐Markov模型的三个基本问题及其算法（8） Viterbi算法（续） 初始化： 路径回溯： 终 结： 递 归： 解码问题 隐Markov模型的三个基本问题及其算法（9） o1 o2 o3 ot-1 ot oT ......... ......... 观察序列 s1 s2 s3 sN sj si .. .. .. .. .. .. .. .. sj .. .. .. .. 1.初始化 2. 递推 3. 终结 .... 4.回溯 .... 解码问题 假定有N个词性标记，给定词串中有M个词。 考虑最坏的情况，扫描到每一个词时，从前一个词的各个词 性标记（N个）到当前词的各个词性标记（N个），有N×N=N2 条路经，即N2次运算，扫描完整个词串（长度为M），计算 次数为M个N2相加，即 。 对于确定的词性标注系统而言，N是确定的，因此，随着M长 度的增加，计算时间以线性方式增长。也就是说，Viterbi算 法的计算复杂度是线性的。 Viterbi算法的复杂度分析 隐Markov模型的三个基本问题及其算法（10） 解码问题 隐Markov模型的三个基本问题及其算法（11） 问题三：学习问题 给定一个观察序列 O1O2…OT ，如何调节模型λ的参数，使得P (O| λ)最大。 也称训练问题、参数估计问题 学习问题 如果产生观察序列 O 的状态 Q = q1q2…qT 已知，可 以用最大似然估计来计算 HMM 的参数： 其中，?(x, y) 为克罗奈克 (Kronecker)函数，当 x= y 时, ?(x, y)=1, 否则 ?(x, y) = 0。 隐Markov模型的三个基本问题及其算法（12） 公式3.5 公式3.6 学习问题 其中，vk 是模型输出符号集中的第 k 个符号。 类似地， 隐Markov模型的三个基本问题及其算法（13） 公式3.7 学习问题 期望值最大化算法 (Expectation-Maximization, EM) 基本思想： 隐Markov模型的三个基本问题及其算法（14） (1)初始化时随机地给模型的参数赋值(遵循限制规则，如：从某一状态出发的转移概率总和为1)，得到模型 ?0; (2)从 ?0 得到从某一状态转移到另一状态的期望次数，然后以期望次数代替公式中的次数，得到模型参数的新估计，由此得到新的模型 ?1; (3)从 ?1 又可得到模型中隐变量的期望值，由此重新估计模型参数。循环这一过程，参数收敛于最大似然估计值。 学习问题 给定 HMM 模型 ? 和观察序列 O ? O1O2 …OT ，那么， 在时间 t 位于状态 Si，时间 t+1 位于状态 Sj 的概率： 隐Markov模型的三个基本问题及其算法（15） 公式3.8 学习问题 ?t (i) ? ??t (i, j) 那么，给定模型 ? 和观察序列 O ? O1O2 …OT ，在时 间 t 位于状态 Si 的概率为： N j ?1 由此，模型 ? 的参数可由下面的公式重新估计： (1) q1 为 Si 的概率： ?i ? ?1 (i