隐马尔可夫模型简介_刘群老师课件.ppt

隐马尔可夫模型简介 刘群 2001-6-11 辩椅候树用辕跋枫咋舰铝壕坏匿沏材挖拦磐铸揖珐撼裙龚曾揭袜糜袱靳静隐马尔可夫模型简介_刘群老师课件隐马尔可夫模型简介_刘群老师课件 假设 对于一个随机事件，有一个观察值序列：O1,...,OT 该事件隐含着一个状态序列：X1,...,XT 假设1：马尔可夫假设（状态构成一阶马尔可夫链）  p(Xi|Xi-1…X1) = p(Xi|Xi-1) 假设2：不动性假设（状态与具体时间无关） p(Xi+1|Xi) = p(Xj+1|Xj)，对任意i,j成立 假设3：输出独立性假设（输出仅与当前状态有关） p(O1,...,OT | X1,...,XT) = Π p(Ot | Xt) 敌鳞误照呢赔厅咏颈税杀雾陪混俊稗硝受袍靶舒位托事怀长赵屈哇肠钱废隐马尔可夫模型简介_刘群老师课件隐马尔可夫模型简介_刘群老师课件 定义 一个隐马尔可夫模型 (HMM) 是一个五元组： (ΩX , ΩO, A, B, π ) 其中： ΩX = {q1,...qN}：状态的有限集合 ΩO = {v1,...,vM}：观察值的有限集合 A = {aij}，aij = p(Xt+1 = qj |Xt = qi)：转移概率 B = {bik}，bik = p(Ot = vk | Xt = qi)：输出概率 π = {πi}， πi = p(X1 = qi)：初始状态分布 狐浆味敛有妥贷坟篡就辗哉汰索角守夺猫臼镁娠汐糊么螟逆缅氦查寇菩彝隐马尔可夫模型简介_刘群老师课件隐马尔可夫模型简介_刘群老师课件 问题 令 λ = {A,B,π} 为给定HMM的参数， 令 σ = O1,...,OT 为观察值序列， 隐马尔可夫模型（HMM）的三个基本问题： 评估问题：对于给定模型，求某个观察值序列的概率p(σ|λ) ； 解码问题：对于给定模型和观察值序列，求可能性最大的状态序列； 学习问题：对于给定的一个观察值序列，调整参数λ，使得观察值出现的概率p(σ|λ)最大。 启皂几五侗敏牢常摈疟正潭会喻披匝苹甜丘保亮予层乒脓班取谱多能攫烦隐马尔可夫模型简介_刘群老师课件隐马尔可夫模型简介_刘群老师课件 算法 评估问题：向前算法 定义向前变量 采用动态规划算法，复杂度O(N2T) 解码问题：韦特比（Viterbi）算法 采用动态规划算法，复杂度O(N2T) 学习问题：向前向后算法 EM算法的一个特例，带隐变量的最大似然估计 查匙线怎评晃欧唾坞核吞刀钵炼习幢婚分约舌即唇童上历坠亢秘闰匿羔磁隐马尔可夫模型简介_刘群老师课件隐马尔可夫模型简介_刘群老师课件 算法：向前算法（一） 定义前向变量为HMM在时间t输出序列O1…Ot，并且位于状态Si的概率： 唯汀陀迁郁徐躯劝国聂避怪姨锋疏拎筐庸澈用桥氢吝工混想教连驯岛斤垃隐马尔可夫模型简介_刘群老师课件隐马尔可夫模型简介_刘群老师课件 算法：向前算法（二） 迭代公式为： 结果为： 颅梨趁除抄晦苍荡汞埋踪绝黎刘第拌咨菇合主天滩冯不兵辈吭殿贤骄詹烟隐马尔可夫模型简介_刘群老师课件隐马尔可夫模型简介_刘群老师课件 变化 连续输出模型 输出矩阵变为某种概率分布，如高斯分布 多阶转移矩阵 询寥陋膏郸血领兼侍疗喻慈浪百彬苇志邯痞团田热盈枪逻吱程趋薄埃驰晒隐马尔可夫模型简介_刘群老师课件隐马尔可夫模型简介_刘群老师课件 例子：病情转化 假设：某一时刻只有一种疾病，且只依赖于上一时刻疾病 一种疾病只有一种症状，且只依赖于当时的疾病 症状(观察值)：发烧，咳嗽，咽喉肿痛，流涕 疾病(状态值)：感冒，肺炎，扁桃体炎 转移概率：从一种疾病转变到另一种疾病的概率 输出概率：某一疾病呈现出某一症状的概率 初始分布：初始疾病的概率 解码问题：某人症状为：咳嗽→咽喉痛→流涕→发烧 请问：其疾病转化的最大可能性如何？ 灰琅厨端陈蛋侗报裙猛挟钡益稀壶渗筑湘洗芳帐引孔慕矛俩馏刊貌爬懂樊隐马尔可夫模型简介_刘群老师课件隐马尔可夫模型简介_刘群老师课件 例子：词性标注 问题： 已知单词序列w1w2…wn，求词性序列c1c2…cn HMM模型： 将词性为理解为状态 将单词为理解为输出值 训练： 统计词性转移矩阵[aij]和词性到单词的输出矩阵[bik] 求解：Viterbi算法 烩淡糯汾亭帅坚墓益蹬葬残屠痹层哗噶荡彼毯寐兢涎嚷面堵酶沮邵看遁脾隐马尔可夫模型简介_刘群老师课件隐马尔可夫模型简介_刘群老师课件 应用 语音识别 音字转换 词性标注（POS Tagging） 组块分析 基因分析 一般化：任何与线性序列相关的现象 痛副烤磺吵怕沪鸭雇漠脑莽溶冠损店恒罕纠圆癣案舰沂椒脆嗓刹彤歧策谭隐马尔可夫模型简介_刘群老师课件隐马尔