第9章 隐马尔夫模型（HMM）.pptVIP

一个关于天气的3状态马尔可夫模型 一个关于天气的3状态马尔可夫模型 已知一天(t=1)的天气是晴（S3），问：其后7天的天气为“晴，晴，雨，雨，晴，多云，晴”的概率是多少？ 观察序列O={S3，S3，S3，S1，S1，S3，S2，S3} 对应时间t=1,2,3,4,5,6,7,8 五、隐马尔可夫模型的基本算法 识别问题：给定观测符号序列 和模型 ，如何快速有效地计算输出概率 估计模型产生观测符号序列的最有可能经过的路径。所有可能的路径中，概率最大的路径。 模型训练问题：调整模型参数，使得输出概率最大。 1、前向－后向算法Forward-Backward 给定一个观测序列 以及一个模型 ，由模型产生出的概率 直接方法，列举所有可能的路径，计算输出概率，然后求和。计算量为2TNT。如状态数N=5,观测值序列长度T=100，计算量为1072。 前向－后向算法 √前向算法 一个前向变量 给定模型下，产生t以前的部分观测符号序列（包含t 在内） ，且t时刻又处于状态 的概率。 迭代算法 初始化： 迭代计算： 最后计算： √后向算法 一个后向变量 给定模型下，t时刻处于状态 ,产生观测符号 序列 的概率。 迭代算法 初始化： 迭代计算： 最后计算： 2.维特比（viterbi）算法 一个前向变量 给定模型下，产生t以前的部分观测符号序列（包含t 在内） ，且时刻又处于状态 的最大概率。 Baum-Welch算法 重估： 几种典型形状的马尔可夫链 经典HMM语音识别训练过程 经典HMM语音识别识别过程 HMM语音识别系统的实现 语音信号预处理与特征提取 声学模型与模式匹配 声学模型与模式匹配 语言模型与语言处理 S1 S1 S2 S3 0.3×0.8×0.5×1×0.6×0.5=0.036 S1 S2 S3 3.Baum-Welch算法(模型训练算法) 目的：给定观察值序列O，通过计算确定一个模型 ，使得 最大。 算法步骤： 1. 初始模型（待训练模型） , 2. 基于 以及观察值序列O，训练新模型 ； 3. 如果 ，说明训练已经达到预期效果，算法结束。 4. 否则，令 ，继续第2步工作 给定模型和观测序列条件下，在时间t处于状态i，而在t+1处于状态j的概率。 t+1 t 给定模型和观测序列条件下，在时间t处于状态i的概率。 在时间T内，从状态i进行转移的次数。 在时间T内，从状态i转移到j的次数。 表示在时刻T内，状态i转移到状态j的总次数，除以在时间T内，状态i被经过的总次数； 表示在时刻T内，经过状态j，并且状态j对应的观测事件为vk的总数除以时间T内，经过状态j的总数。 表示在t=1处于状态i的次数 a. A矩阵没有零值的Markov链 b. A矩阵有零值的Markov链 c./d. 左－右形式的Markov链 1. 前向后向算法计算P(O|λ) ； 2. Baum-Welch 算法求出最优解λ*= argmax{P(O|λ)}； 3. Viterbi算法解出最佳状态转移序列； 4. 根据最佳状态序列对应的λ给出候选音节或声韵母; 5. 通过语言模型形成词和句子。 经典HMM语音识别一般过程 Baum-Welch Re-estimation Speech database Feature Extraction Converged? l1 l2 l7 HMM waveform feature Yes No end Select maximum Recognized word Speech Feature extraction Likelihood computation λ1 Likelihood computation λ V . . . P(O| λ 1) P(O| λ V) HMM1 HMMV 语音信号预处理与特征提取 声学模型与模式匹配 语言模型与语言处理 转移到哪一个状态，转移时输出什么符号，分别由状态转移概率和转移时的输出概率来决定。即每一条弧上有一个状态转移概率以及输出概率。aij表示从状态Si转移到状态Sj的概率。 S1 S2 S3 S1 S2 S3 从