模式识别和信号处理第08章__HMM.ppt

马尔可夫性 如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性,或称此过程为马尔可夫过程 X(t+1) = f( X(t) ) 马尔科夫链 时间和状态都离散的马尔科夫过程称为马尔科夫链 记作{Xn = X(n), n = 0,1,2,…} 在时间集T1 = {0,1,2,…}上对离散状态的过程相继观察的结果 链的状态空间记做I = {a1, a2,…}, ai∈R. 条件概率Pij ( m ,m+n)=P{Xm+n = aj|Xm = ai} 为马氏链在时刻m处于状态ai条件下，在时刻m+n转移到状态aj的转移概率。 转移概率矩阵 转移概率矩阵(续) 由于链在时刻m从任何一个状态ai出发，到另一时刻m+n，必然转移到a1，a2…，诸状态中的某一个，所以有 当Pij(m,m+n)与m无关时，称马尔科夫链为齐次马尔科夫链，通常说的马尔科夫链都是指齐次马尔科夫链。 HMM概念 HMM是一种随机过程，它用概率统计的方法来描述语音信号的变化过程。 HMM与通常的Markov链的不同之处在于其观察结果不是与状态有确定的对应关系，而是系统所处状态的概率函数，所以模型本身是隐藏的，它与观察结果之间还有一层随机的关系。 HMM是对语音信号的时间序列结构建立统计模型，将之看做一个数学上的双重随机过程： 一个是用具有有限状态的Markov链来模拟语音信号统计特性变化的隐含随机过程， 另一个是与Markov链的每一个状态相关联的观测序列的随机过程。前者通过后者表现出来，但前者的具体参数是不可测的。 HMM概念 HMM的状态是不确定或不可见的，只有通过观测序列的随机过程才能表现出来 观察到的事件与状态并不是一一对应，而是通过一组概率分布相联系 HMM是一个双重随机过程，两个组成部分： 马尔可夫链：描述状态的转移，用转移概率描述。 一般随机过程：描述状态与观察序列间的关系， 用观察值概率描述。 HMM组成 HMM概念 采用HMM来描述语音过程的成功原因在于：  (1) 各状态驻留的时间是可变的，这样就很好地解决了语音时变问题。 (2) 模型参数是通过大量的训练数据进行统计运算而得到的，因此不仅可以用于特定人识别，而且可用于非特定人识别，这时，只要将大量不同人的多次发音用作训练数据即可。 HMM实例——约束 在上述实验中，有几个要点需要注意： 不能被直接观察缸间的转移 从缸中所选取的球的颜色和缸并不是 一一对应的 每次选取哪个缸由一组转移概率决定 HMM实例 HMM模型的假设 HMM的基本要素 用模型五元组 ＝（ N, M, π ，A，B）用来描述HMM，或简写为 =(π ，A，B) 几种典型形状的马尔科夫链 二、定义 二、定义 二、定义 二、定义 三、隐马尔可夫模型的计算 ----三项问题的求解 三、隐马尔可夫模型的计算 ----三项问题的求解 三、隐马尔可夫模型的计算 ----三项问题的求解 三、隐马尔可夫模型的计算 ----三项问题的求解 三、隐马尔可夫模型的计算 ----概率Pr［Y/λ］的计算 三、隐马尔可夫模型的计算 ----HMM的识别 三、隐马尔可夫模型的计算 ----HMM的识别 三、隐马尔可夫模型的计算 ----HMM的训练 三、隐马尔可夫模型的计算 ----HMM的训练 三、隐马尔可夫模型的计算 ----HMM的训练 三、隐马尔可夫模型的计算 ----HMM的训练 HMM可解决的问题 问题1：给定观察序列O=O1,O2,…OT,以及模型 , 如何计算P(O|λ)？ 问题2：给定观察序列O=O1,O2,…OT以及模型λ,如何选择一个对应的状态序列 S = q1,q2,…qT，使得S能够最为合理的解释观察序列O？ 问题3：如何调整模型参数 , 使得P(O|λ)最大？ 解决问题1 基础方法 给定一个固定的状态序列S=(q1，q2，q3…) 表示在qt状态下观测