7-研-HMM.ppt

算法设计与分析 北京交通大学计算机学院 李清勇 E-mail: qingyongli@ Tel: 主校区: 9号楼 北314 引言 Observed Ball Sequence Urn 3 Urn 1 Urn 2 Veil 引言 设有N个缸，每个缸中装有很多彩球，球的颜色由一组概率分布描述。实验进行方式如下 根据初始概率分布，随机选择N个缸中的一个开始实验 根据缸中球颜色的概率分布，随机选择一个球，记球的颜色为O1，并把球放回缸中 根据描述缸的转移的概率分布，随机选择下一口缸，重复以上步骤。 最后得到一个描述球的颜色的序列O1,O2,…，称为观察值序列O。 引言 在上述实验中，有几个要点需要注意： 不能被直接观察缸间的转移 从缸中所选取的球的颜色和缸并不是 一一对应的 每次选取哪个缸由一组转移概率决定 引言 语音识别，词性标注，汉语分词 基因序列分析 计算机视觉（手语识别，字符识别） 天气预报 …… 马尔可夫性 如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性,或称此过程为马尔可夫过程 X(t+1) = f( X(t) ) 马尔科夫链 时间和状态都离散的马尔科夫过程称为马尔科夫链 记作{Xn = X(n), n = 0,1,2,…} 在时间集T1 = {0,1,2,…}上对离散状态过程的相继观察的结果 链的状态空间记做I = {a1, a2,…}, ai∈R. 条件概率Pij ( t ,t+1)=P{Xt+1 = aj|Xt = ai} 为马氏链在时刻t处于状态ai条件下，在时刻t+1转移到状态aj的转移概率。 转移概率矩阵 阴天 晴天 下雨 晴天 阴天 下雨 晴天 0.50 0.25 0.25 阴天 0.375 0.25 0.375 下雨 0.25 0.125 0.625 转移概率矩阵(续) 由于链在时刻m从任何一个状态ai出发，到另一时刻m+1，必然转移到a1，a2…，诸状态中的某一个，所以有 当Pij(m,m+1)与m无关时，称马尔科夫链为齐次马尔科夫链，通常说的马尔科夫链都是指齐次马尔科夫链。 HMM概念 HMM的状态是不确定或不可见的，只有通过观测序列的随机过程才能表现出来 观察到的事件与状态并不是一一对应，而是通过一组概率分布相联系 HMM是一个双重随机过程，两个组成部分： 马尔可夫链：描述状态的转移，用转移概率描述。 一般随机过程：描述状态与观察序列间的关系， 用观察值概率描述。 Markov链 （?, A） 随机过程 （B） 状态序列 观察值序列 q1, q2, ..., qT o1, o2, ..., oT HMM的组成示意图 HMM组成 HMM模型的假设 假设1：有限历史假设  p(qi|qi-1…q1) = p(qi|qi-1) 假设2：齐次性假设（状态与具体时间无关） p(qi+1|qi) = p(qj+1|qj)，对任意i,j成立 假设3：输出独立性假设（输出仅与当前状态有关） p(O1,...,OT | q1,...,qT) = Π p(Ot | qt) HMM的基本要素 用模型五元组 λ ＝（ Ω , Σ , π ，A，E）用来描述HMM，或简写为 λ =(π ，A，E) 参数 含义 实例 Ω 状态集合 总数M 缸 Σ 观察值集合 总数C 彩球 A 与时间无关的状态转移概率矩阵 在选定某个缸的情况下，选择另一个缸的概率 E 给定状态下，观察值概率分布 每个缸中的颜色分布 p 初始状态空间的概率分布 初始时选择某口缸的概率 HMM实例：硬币赌博 观测值：正面(H Head)、反面(T Tail) 硬币： 真(F Fair)、假(B Bais) HHHHTTTTHHTTHTTTTHHH… FFFFBBBBFFFFBBBBFFFFF… HMM的基本要素-示例 HMM的基本要素-示例 HMM可解决的问题 问题1：给定观察序列O=O1,O2,…OT,以及模型 λ=(π, A, B), 如何计算P(O)？ 问题2：给定观察序列O=O1,O2,…OT以及模型λ,如何选择一个对应的状态序列 S = q1,q2,…qT，使得S能够最为合理的解释观察序列O？ 问题3：如何调整模型参数 λ=(π, A, B) , 使得P(O|λ)最大？ 解决问题1 —基础方法 M=5, N=100, = 计算量5^100 解决问题1 — 前向法 定义前向变量