隐马尔可夫模型详解ppt(有例子_具体易懂).ppt

例（续） 其递推结果为： 可以看出，最有可能的状态序列是： S1，S2，S2，S2. 例（续） 其计算结果示意图如下所示： 绿色的箭头表示最有可能的状态序列 问题3—学习问题 也称训练问题、参数估计问题 化准则，使得观察序列的概率P(O|λ)最大。 状态序列已知情况 可以由最大似然估计来估计HMM的参数： EM(Expectation-Maximization)算法 由于HMM中的状态序列是观察不到的（隐变量），以上的最大似然估计不可行。EM算法可 用于含有隐变量的统计模型的最大似然估计。 EM算法是一个由交替进行的“期望(E过程)”和“极大似然估计(M过程)”两部分组成的迭代过程： · 对于给定的不完全数据和当前的参数值，“E过程”从条件期望中相 应地构造完全数据的似然函数值，“M过程”则利用参数的充分统计 量，重新估计概率模型的参数，使得训练数据的对数似然最大。 EM算法的每一次迭代过程必定单调地增加训练数据的对数似然值，于是迭代过程渐进地收敛于一个局部最优值。 向前向后算法(Baum-Welch算法) 1.初始化：随机地给πi ，aij ， bjk 赋值（满足概率条件），得到模型λ0，设 i=0 ； 2.EM步骤： E步骤：由λi根据公式（1）和（2），计算期望值ξt（i，j） 和 γt（i）； M步骤：用E步骤所得的期望值，根据公式（3）重新估计πi ，aij ，bjk ，得到模型 λi+1 ; 3.循环设计：i=i +1 ；重复EM步骤，直至πi ，aij ，bjk 值收敛。 期望值(1) 给定HMM和观察序列， ξt（i，j）为在时间t 位于状态i，时间 t + 1 位于状态j的概率： 图示 期望值(2) 给定HMM和观测序列，在时间t位于状态i的概率： 重估公式(3) HMM的应用 语音识别 音字转换 词性标注（POS Tagging） 基因识别问题 ? 状态: 编码区域与非编码区域 ? 字符: ATCG 一般化：任何与线性序列相关的现象 HMM的一些实际问题 初始概率分布的选择 1.随机选择 2.利用先验信息 3.来自多序列比对的结果 HMM的一些实际问题（续） 数值计算中的防溢出处理 在前向算法、Viterbi算法以及Baum-Welch算法中，概率值的连续乘法运算很容易导致下溢现象。 解决办法： 1.前向算法中：每一个时间步的运算中都乘以一 个比例因子 2.Viterbi算法中：对概率值取对数后计算 Viterbi算法:连乘积→对数求和 前向算法:引入比例因子 其中,比例因子 HMM总结 HMM模型可以看作一种特定的Bayes Net HMM模型等价于概率正规语法或概率有限状态自动机 HMM模型可以用一种特定的神经网络模型来模拟 优点：研究透彻，算法成熟，效率高，效果好，易于训练 t=1 t=2 t=3 t=4 t=5 t=T t=6 t=7 t=T-1 前向算法过程演示 i=N i=N-1 i=5 i=4 i=3 i=2 i=1 t=1 t=2 t=3 t=4 t=5 t=T t=6 t=7 t=T-1 前向算法过程演示 i=N i=N-1 i=5 i=4 i=3 i=2 i=1 2. 递归 t=1 t=2 t=3 t=4 t=5 t=T t=6 t=7 t=T-1 前向算法过程演示 i=N i=N-1 i=5 i=4 i=3 i=2 i=1 t=1 t=2 t=3 t=4 t=5 t=T t=6 t=7 t=T-1 前向算法过程演示 i=N i=N-1 i=5 i=4 i=3 i=2 i=1 t=1 t=2 t=3 t=4 t=5 t=T t=6 t=7 t=T-1 前向算法过程演示 i=N i=N-1 i=5 i=4 i=3 i=2 i=1 t=1 t=2 t=3 t=4 t=5 t=T t=6 t=7 t=T-1 前向算法过程演示 i=N i=N-1 i=5 i=4 i=3 i=2 i=1 t=1 t=2 t=3 t=4 t=5 t=T t=6 t=7 t=T-1 前向算法过程演示 i=N i=N-1 i=5 i=4 i=3 i=2 i=1 t=1 t=2 t=3 t=4 t=5 t=T t=6 t=7