隐马尔可夫模型技术.pptVIP

第8章 隐马尔可夫模型技术 马尔可夫性 如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性,或称此过程为马尔可夫过程。 X(t+1) = f( X(t) ) 马尔可夫链 时间和状态都离散的马尔可夫过程称为马尔可夫链 记作{Xn = X(n), n = 0,1,2,…} 在时间集T1 = {0,1,2,…}上对离散状态的过程相继观察的结果 链的状态空间记做I = {a1, a2,…}, ai∈R. 条件概率Pij ( m ,m+n)=P{Xm+n = aj|Xm = ai} 为马氏链在时刻m处于状态ai条件下，在时刻m+n转移到状态aj的转移概率。 转移概率矩阵 转移概率矩阵(续) 由于链在时刻m从任何一个状态ai出发，到另一时刻m+n，必然转移到a1，a2…，诸状态中的某一个，所以有 当Pij(m,m+n)与m无关时，称马尔可夫链为齐次马尔可夫链，通常说的马尔可夫链都是指齐次马尔可夫链。 一阶离散马尔可夫模型 一阶离散马尔可夫模型 一阶离散马尔可夫模型 一阶离散马尔可夫模型 一阶离散马尔可夫模型 一阶离散马尔可夫链 隐马尔可夫链（HMM）理论 HMM实例 HMM实例——约束 在上述实验中，有几个要点需要注意： 不能直接观察缸间的转移 从缸中所选取的球的颜色和缸并不是一一对应的 每次选取哪个缸由一组转移概率决定 什么是 HMM? HMM 模型 HMM的基本要素 用模型五元组 来描述HMM，或简写为 HMM组成 8.4 HMM的三个基本问题 问题1：给定观察序列O=O1,O2,…OT,以及模型 如何计算P(O|λ)？(概率计算） 7.4.2 HMM基本算法 估计问题—前向算法 估计问题—后向算法 估计问题—后向算法 2、解码问题—Viterbi算法 3、学习问题－－Baum-Welch算法(模型训练算法) 算法步骤： 1. 初始模型（待训练模型） l0, 2. 基于l0 以及观察值序列O，训练新模型l; 3. 如果 log?P(X|l) - log(P(X|l0) Delta，说明训练已经达到预期效果，算法结束。 4. 否则，令l0 ＝ l ，继续第2步工作 Baum-Welch算法(续) 参数估计： 定义给定模型λ和观察序列O，在时刻t 处在状态i，时刻t+1 处在状态j 的概率ξt(i, j)，即： ξt(i, j) = P(qt= i, qt+1= j |O, λ) Baum-Welch算法(续) 使用统计意义上用频率近似概率的方法 反复进行上面的过程，逐步改进模型参数，直到 收敛，即不再明显增大，此时的 就是HMM的最大相似性评估。 Baum-Welch讨论 利用上述三个估算公式，计算得到一组新的模型参数，这组新的模型参数又可以作为一个新的估算过程的开始点，再次进行估算，如此反复进行，直到参数值收敛。Baum 等人证明要么估算值λ 和估算前的参数值λ相等，要么估算值λ 比估算前的参数值λ更好的解释了观察序列O。参数最终的收敛点并不一定是一个全局最优值，但一定是一个局部最优值。Baum-Welch 算法是一类称为EM (Estimation-Maximisation:估计-最大化)算法的一个例子，这类算法均可保证收敛于一个局部最优值。 经典HMM语音识别一般过程 基于HMM的语音识别方案 基于HMM的观察符号序列的生成方式 模型评估问题的解法(1) 模型评估问题的解法(2) 模型评估问题的前向算法 最佳路径问题的解法 8.5 HMM算法实现中的问题 初始模型的选取 多个观察值序列训练 数据下溢问题 马尔可夫链的形状以及HMM类型 几种典型形状的马尔科夫链 HMM类型 1. 前向后向算法计算P(O|λ) ； 2. Baum-Welch 算法求出最优解λ*= argmax{P(O|λ) }； 3. Viterbi算法解出最佳状态转移序列； 4. 根据最佳状态序列对应的λ给出候选音节或声韵母 5. 通过语言模型形成词和句子 判决规则 VITERBI 计算 VQ 码本 训练 识别 X X:特征矢量的时间序列 O:基于VQ的观察符号序列 HMM(3) HMM(2) HMM(1) O · · 声学参数分析 预处理 语音信号输入 当给定模型λ(A, B,π)后，就可将该模型看成 一个符号生成器(或称信号源)，由它生成观察 序列 O= o1o2 … oT。其生成过程(也称HMM过程)是： (1)初始状态概率分布π，随机选择一个初始状态 q1 = Si； (2)置 t = 1； (3)按状态 Si 的符号概率