隐马尔可夫模型(有具体例子_方便理解)答辩.ppt

隐马尔可夫模型 主要内容 马尔可夫模型 隐马尔可夫模型 隐马尔可夫模型的三个基本问题 三个基本问题的求解算法 1.前向算法 2.Viterbi算法 3.向前向后算法 隐马尔可夫模型的应用 隐马尔可夫模型的一些实际问题 隐马尔可夫模型总结 马尔可夫链 一个系统有N个状态 S1，S2，···，Sn，随着时间推移，系统从某一状态转移到另一状态，设qt为时间t的状态，系统在时间t处于状态Sj 的概率取决于其在时间 1 ，2，···，t-1 的状态，该概率为： 如果系统在t时间的状态只与其在时间 t -1的状态相关，则该系统构成一个离散的一阶马尔可夫链(马尔可夫过程)： 马尔可夫模型 如果只考虑独立于时间t的随机过程： 其中状态转移概率 aij 必须满足 aij=0 , 且 ，则该随机过程称为马尔可夫模型。 例 假定一段时间的气象可由一个三状态的马尔可夫模型M描述，S1：雨，S2：多云，S3：晴，状态转移概率矩阵为： 例（续） 如果第一天为晴天，根据这一模型，在今后七天中天气为O=“晴晴雨雨晴云晴”的概率为： 隐马尔可夫模型（Hidden Markov Model, HMM） 在MM中，每一个状态代表一个可观察的 事件 在HMM中观察到的事件是状态的随机函数，因此该模型是一双重随机过程，其中状态转移过程是不可观察（隐蔽）的(马尔可夫链)，而可观察的事件的随机过程是隐蔽的状态转换过程的随机函数(一般随机过程)。 HMM的三个假设 对于一个随机事件，有一观察值序列： O=O1,O2,…OT 该事件隐含着一个状态序列： Q = q1,q2,…qT。 假设1：马尔可夫性假设（状态构成一阶马尔可夫链）  P(qi|qi-1…q1) = P(qi|qi-1) 假设2：不动性假设（状态与具体时间无关） P(qi+1|qi) = P(qj+1|qj)，对任意i，j成立 假设3：输出独立性假设（输出仅与当前状态有关） p(O1,...,OT | q1,...,qT) = Πp(Ot | qt) HMM定义 一个隐马尔可夫模型 (HMM) 是由一个五元组描述的： λ ＝（ N，M ，A，B， π ） 其中： N = {q1,...qN}：状态的有限集合 M = {v1,...,vM}：观察值的有限集合 A = {aij}，aij = P(qt = Sj |qt-1 = Si)：状态转移概率矩阵 B = {bjk}， bjk = P(Ot = vk | qt = Sj)：观察值概率分布矩阵 π = {πi}，πi = P(q1 = Si)：初始状态概率分布 观察序列产生步骤 给定HMM模型 λ = (A， B， π) ，则观察序列 O=O1,O2,…OT 可由以下步骤产生： 1.根据初始状态概率分布π= πi,选择一初始状态q1=Si； 2.设t=1； 3.根据状态 Si的输出概率分布bjk,输出Ot=vk； 4.根据状态转移概率分布aij,转移到新状态qt+1=Sj； 5.设t=t+1,如果tT，重复步骤3、4，否则结束。 HMM的三个基本问题 令 λ = {π，A，B} 为给定HMM的参数， 令 O = O1,...,OT 为观察值序列，则有关于 隐马尔可夫模型（HMM）的三个基本问题： 1.评估问题：对于给定模型，求某个观察值序列的概率P(O|λ) ； 2.解码问题：对于给定模型和观察值序列，求可能性最大的状态序列maxQ{P(Q|O,λ)}； 3.学习问题：对于给定的一个观察值序列O，调整参数λ，使得观察值出现的概率P(O|λ)最大。 三个基本问题的求解算法 评估问题：前向算法 定义前向变量 采用动态规划算法，复杂度O(N2T) 解码问题：韦特比（Viterbi）算法 采用动态规划算法，复杂度O(N2T) 学习问题：向前向后算法 EM算法的一个特例，带隐变量的最大似然估计 HMM的网格结构 例子（前向算法应用） HMM模型如下，试根据前向算法计算产生观察符号序列O={ABAB}的概率。 例（续） 初始概率矩阵π=(1,0,0),即开始处于状态1。按照前向算法公式，我们依次递推解出 ?t(i) 。解法如下：