《第五章_隐马尔可夫模型》-精选课件(公开).pptVIP

第五章 隐马尔可夫模型(Hidden Markov Model) 王 侠 徐州师范大学物理与电子工程学院 2008年5月18日 一、HMM的由来 二、马尔可夫性和马尔可夫链 三、HMM实例 四、HMM的三个基本算法 1、马尔可夫链 2、马尔可夫模型 1870年，俄国有机化学家Vladimir V. Markovnikov 3、隐马尔可夫模型 60年代末70年代初Baum等人建立的 一、HMM的由来 二、马尔可夫性和马尔可夫链 三、HMM实例 四、HMM的三个基本算法 马尔可夫性 如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性,或称此过程为马尔可夫过程 X(t+1) = f( X(t) ) 马尔科夫链 时间和状态都离散的马尔科夫过程称为马尔科夫链 记作{Xn = X(n), n = 0,1,2,…} 在时间集T1 = {0,1,2,…}上对离散状态的过程相继观察的结果 链的状态空间记做I = {a1, a2,…}, ai∈R. 条件概率Pij ( m ,m+n)=P{Xm+n = aj|Xm = ai} 为马氏链在时刻m处于状态ai条件下，在时刻m+n转移到状态aj的转移概率。 转移概率矩阵 转移概率矩阵(续) 由于链在时刻m从任何一个状态ai出发，到另一时刻m+n，必然转移到a1，a2…，诸状态中的某一个，所以有 当Pij(m,m+n)与m无关时，称马尔科夫链为齐次马尔科夫链，通常说的马尔科夫链都是指齐次马尔科夫链。 HMM的由来 马尔可夫性和马尔可夫链 HMM实例 HMM的三个基本算法 HMM是一个输出符号序列的统计模型，具有Ｎ个状态S1,S2,…SN,它按一定的周期从一个状态转移到另一个状态，每次转移时，输出一个符号．转移到哪一个状态，转移时输出什么符号，分别由转移概率和转移时的输出概率来决定． 设有N个缸，每个缸中装有很多彩球，球的颜色由一组概率分布描述。实验进行方式如下 根据初始概率分布，随机选择N个缸中的一个开始实验 根据缸中球颜色的概率分布，随机选择一个球，记球的颜色为O1，并把球放回缸中 根据描述缸的转移的概率分布，随机选择下一口缸，重复以上步骤。 最后得到一个描述球的颜色的序列O1,O2,…，称为观察值序列O。 在上述实验中，有几个要点需要注意： 不能被直接观察缸间的转移 从缸中所选取的球的颜色和缸并不是 一一对应的 每次选取哪个缸由一组转移概率决定 HMM概念 HMM的状态是不确定或不可见的，只有通过观测序列的随机过程才能表现出来 观察到的事件与状态并不是一一对应，而是通过一组概率分布相联系 HMM是一个双重随机过程，两个组成部分： 马尔可夫链：描述状态的转移，用转移概率描述。 一般随机过程：描述状态与观察序列间的关系， 用观察值概率描述。 HMM的基本要素 用模型五元组 ＝（ S, O, π ，A，B）用来描述HMM，或简写为 =(π ，A，B) HMM可解决的问题 问题1：给定观察序列O=O1,O2,…OT,以及模型 , 如何计算P(O|M)？ 问题2：给定观察序列O=O1,O2,…OT以及模型M,如何选择一个对应的状态序列 S = S1,S2,…ST，使得S能够最为合理的解释观察序列O？ 问题3：如何调整模型参数 , 使得P(O|M)最大？ 解决问题1 前向方法 解决问题1 前向法 定义前向变量 初始化： 递归： 终结： 计算步骤如下: (1)给每个状态准备一个数组变量 初始化时令初始状态S1的数组变量 为1,其他状态数组变量 为0 (2)根据t时刻输出的观察符号 ot计算 : 前向法示意图 解决问题1 后向法 与前向法类似 初始化： 递推公式： 最后结果： Viterbi算法 目的：给定观察序列O以及模型λ,如何选择一个对应的状态序列S ，使得S能够最为合理的解释观察序列O？ Viterbi算法叙述: (1)初始化 (2)递推公式 (3)最后结果 Viterbi算法(续) Viterbi算法求取最佳状态序列的步骤 (1)给每个状态准备一个数组变量 ，初始化时令初始状态S1的数组变 量为1，其他数组状态的数组变量 为0； (2)根据t时刻输出的观察符号ot计算 : (3)当t≠T时，转移到(2),否则执行(4) (4)把这时的终了状态寄存器内的值取出，则： 几种典型形状的HMM HMM的一些实际问题 1、下溢问题 在每步递归运算时乘以一个定标因