隐马尔可夫模型(有具体例子_方便理解)详解.ppt

隐马尔可夫模型 主要内容 马尔可夫模型 隐马尔可夫模型 隐马尔可夫模型的三个基本问题 三个基本问题的求解算法 1.前向算法 2.Viterbi算法 3.向前向后算法 隐马尔可夫模型的应用 隐马尔可夫模型的一些实际问题 隐马尔可夫模型总结 马尔可夫链 一个系统有N个状态 S1，S2，···，Sn，随着时间推移，系统从某一状态转移到另一状态，设qt为时间t的状态，系统在时间t处于状态Sj 的概率取决于其在时间 1 ，2，···，t-1 的状态，该概率为： 如果系统在t时间的状态只与其在时间 t -1的状态相关，则该系统构成一个离散的一阶马尔可夫链 马尔可夫过程 ： 马尔可夫模型 如果只考虑独立于时间t的随机过程： 其中状态转移概率 aij 必须满足 aij 0 , 且 ，则该随机过程称为马尔可夫模型。 例 假定一段时间的气象可由一个三状态的马尔可夫模型M描述，S1：雨，S2：多云，S3：晴，状态转移概率矩阵为： 例（续） 如果第一天为晴天，根据这一模型，在今后七天中天气为O “晴晴雨雨晴云晴”的概率为： 隐马尔可夫模型（Hidden Markov Model, HMM） 在MM中，每一个状态代表一个可观察的 事件 在HMM中观察到的事件是状态的随机函数，因此该模型是一双重随机过程，其中状态转移过程是不可观察（隐蔽）的 马尔可夫链 ，而可观察的事件的随机过程是隐蔽的状态转换过程的随机函数 一般随机过程 。 HMM的三个假设 对于一个随机事件，有一观察值序列： O O1,O2,…OT 该事件隐含着一个状态序列： Q q1,q2,…qT。 假设1：马尔可夫性假设（状态构成一阶马尔可夫链） P qi|qi-1…q1 P qi|qi-1 假设2：不动性假设（状态与具体时间无关） P qi+1|qi P qj+1|qj ，对任意i，j成立 假设3：输出独立性假设（输出仅与当前状态有关） p O1,...,OT | q1,...,qT Πp Ot | qt HMM定义 一个隐马尔可夫模型 HMM 是由一个五元组描述的： λ ＝（ N，M ，A，B， π ） 其中： N q1,...qN ：状态的有限集合 M v1,...,vM ：观察值的有限集合 A aij ，aij P qt Sj |qt-1 Si ：状态转移概率矩阵 B bjk ， bjk P Ot vk | qt Sj ：观察值概率分布矩阵 π πi ，πi P q1 Si ：初始状态概率分布 观察序列产生步骤 给定HMM模型 λ A， B， π ，则观察序列 O O1,O2,…OT 可由以下步骤产生： 1.根据初始状态概率分布π πi,选择一初始状态q1 Si； 2.设t 1； 3.根据状态 Si的输出概率分布bjk,输出Ot vk； 4.根据状态转移概率分布aij,转移到新状态qt+1 Sj； 5.设t t+1,如果t T，重复步骤3、4，否则结束。 HMM的三个基本问题 令 λ π，A，B 为给定HMM的参数， 令 O O1,...,OT 为观察值序列，则有关于 隐马尔可夫模型（HMM）的三个基本问题： 1.评估问题：对于给定模型，求某个观察值序列的概率P O|λ ； 2.解码问题：对于给定模型和观察值序列，求可能性最大的状态序列maxQ P Q|O,λ ； 3.学习问题：对于给定的一个观察值序列O，调整参数λ，使得观察值出现的概率P O|λ 最大。 三个基本问题的求解算法 评估问题：前向算法 定义前向变量 采用动态规划算法，复杂度O N2T 解码问题：韦特比（Viterbi）算法 采用动态规划算法，复杂度O N2T 学习问题：向前向后算法 EM算法的一个特例，带隐变量的最大似然估计 HMM的网格结构 例子（前向算法应用） HMM模型如下，试根据前向算法计算产生观察符号序列O ABAB 的概率。 例（续） 初始概率矩阵π 1,0,0 ,即开始处于状态1。按照前向算法公式，我们依次递推解出 ?t i 。解法如下： 1.当 t 1时： 例（续） 2.当t 2时： 3.当t 3时： 例（续） 4.当t 4时： 所以最终有： P O| λ ?4 1 + ?4 2 + ?4 3 0.0717696 即观察序列O由HMM模型?产生的概率 例（续） 最后将其计算过程示意图表示如下： Viterbi算法（续） 目标：给定一个观察序列和HMM模型，如何有效选择“最优”状态序列，以“最好地解释”观察序列 “最优”→概率最大： Viterbi变量： 递归关系： 记忆变量： 记录概率最大路径上当