13-14.1隐马尔科夫模型可研报告.pptVIP

隐马尔科夫模型HMM 北京10月机器学习班 邹博 2014年12月7日 复习：贝叶斯网络 x1和x2独立 x6和x7在x4给定的条件下独立 x1,x2,…x7的联合分布： July注解：贝叶斯网络详细复习参见下述链接 /v_july_v/article/details/座机电话号码 贝叶斯网络分析 1+2+2+4+4 13 vs 2^5 复习：特殊的贝叶斯网络 M个离散结点形成一条链，每一个结点有K个状态，则需要K-1+ M-1 K K-1 个参数。这是关于长度M的线性函数。 别忘了，如果是全连接，需要KM-1个参数，是关于M的指数函数。 这个网络被称作马尔科夫模型。 复习：通过贝叶斯网络判定条件独立—1 P a,b,c P c *P a|c *P b|c 则：P a,b|c P a,b,c /P c 带入，得到： P a,b|c P a|c *P b|c 即：在c给定的条件下，a，b被阻断 blocked ，是独立的。 条件独立：tail-to-tail 复习：通过贝叶斯网络判定条件独立—2 P a,b,c P a *P c|a *P b|c 即：在c给定的条件下，a，b被阻断 blocked ，是独立的。 条件独立：head-to-tail 复习：通过贝叶斯网络判定条件独立—3 P a,b,c P a *P b *P c|a,b 在c未知的条件下，a，b被阻断 blocked ，是独立的： head-to-head 隐马尔科夫模型的定义 隐马尔科夫模型 HMM, Hidden Markov Model 是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。 隐马尔科夫模型随机生成的状态的序列，称为状态序列；每个状态生成一个观测，由此产生的观测随机序列，称为观测序列。 序列的每个位置可看做是一个时刻。 隐马尔科夫模型的贝叶斯网络 请思考： 在z1未给定的前提下，x1和z2独立吗？x1和x2独立吗？ HMM的确定 HMM由初始概率分布π、状态转移概率分布A以及观测概率分布B确定。 HMM的参数 Q是所有可能的状态的集合 N是可能的状态数 V是所有可能的观测的集合 M是可能的观测数 HMM的参数 I是长度为T的状态序列，O是对应的观测序列 A是状态转移概率矩阵 其中 aij是在时刻t处于状态qi的条件下时刻t+1转移到状态qj的概率。 HMM的参数 B是观测概率矩阵 其中， bik是在时刻t处于状态qi的条件下生成观测vk的概率。 π是初始状态概率向量： 其中， πi是时刻t 1处于状态qi的概率。 HMM的参数总结 HMM由初始概率分布π、状态转移概率分布A以及观测概率分布B确定。π和A决定状态序列，B决定观测序列。因此，HMM可以用三元符号表示，称为HMM的三要素： HMM的两个基本性质 齐次假设： 观测独立性假设： HMM举例 假设有3个盒子，编号为1、2、3，每个盒子都装有红白两种颜色的小球，数目如下： 按照下面的方法抽取小球，得到球颜色的观测序列：按照 0.2,0.4,0.4 的概率选择1个盒子，从盒子随机抽出1个球，记录颜色后放回盒子；按照A给定的概率选择新的盒子，重复上述过程；最终得到观测序列：“红红白白红”。 该示例的各个参数 状态集合：Q 盒子1，盒子2，盒子3 观测集合：V 红，白 状态序列和观测序列的长度T 5 初始概率分布π： 状态转移概率分布A： 观测概率分布B： 思考： 在给定参数π、A、B的前提下，得到观测序列“红红白白红”的概率是多少？ HMM的3个基本问题 概率计算问题 给定模型 和观测序列 ，计算模型λ下观测序列O出现的概率P O| λ 学习问题 已知观测序列 ，估计模型 的参数，使得在该模型下观测序列P O| λ 最大 预测问题 即解码问题：已知模型 和观测序列 ，求对给定观测序列条件概率P I|O 最大的状态序列I 概率计算问题 直接算法 暴力算法 前向算法 后向算法 这二者是理解HMM的重点 直接计算法 按照概率公式，列举所有可能的长度为T的状态序列 ，求各个状态序列I与观测序列 的联合概率P O,I|λ ，然后对所有可能的状态序列求和，从而得到P O|λ 直接计算法 状态序列 的概率是： 对固定的状态序列I，观测序列O的概率是： 直接计算法 O和I同时出现的联合概率是： 对所有可能的状态序列I求和，得到观测序列O的概率P O|λ 直接计算法 对于最终式 分析：加和符号中有2T个因子，I的遍历个数为NT，因此，时间复杂度为O T NT ，过高。 借鉴算法的优化思想 最长递增子序列 KMP中next数组的计算 前向算法 定义：给定λ，定义到时刻t部