概率密度函数的参数估计 课件.pptVIP

模式识别 – 概率密度函数的参数估计 HMM 的参数表示 ? 状态转移矩阵 ： A ， M*M 的方阵； ? 状态输出概率 ： B ， M*K 的矩阵； ? 初始概率 ： π ，包括 M 个元素。 M 个状态， K 个可能的输出值。 ? ? , , ? θ π AB 模式识别 – 概率密度函数的参数估计 HMM 的三个核心问题 ? 估值问题 ：已有一个 HMM 模型，其参数已知， 计算这个模型输出特定的观察序列 V T 的概率； ? 解码问题 ：已有一个 HMM 模型，其参数已知， 计算最有可能输出特定的观察序列 V T 的隐状态 转移序列 W T ； ? 学习问题 ：已知一个 HMM 模型的结构，其参数 未知，根据一组训练序列对参数进行训练； 模式识别 – 概率密度函数的参数估计 估值问题 ? 一个 HMM 模型产生观察序列 V T 可以由下式计算： ? ? ? ?? ? m a x 1 , r T T T T r r r P V P V W P W ? ? ? θ θ θ ? r max =M T 为 HMM 所有可能的状态转移序列数； ? 为状态转移序列 输出观察序列 的 概率； ? 为 状态转移序列 发生的概率。 ? ? , T T r PV W θ ? ? T r P W θ T r W T V T r W 模式识别 – 概率密度函数的参数估计 估值问题的计算 ? ? ? ?? ? ? ?? ? ? ? ? ? ? ? 1 1 22 3 1 r r r r r r r T r w w w w w w T w T P Wa a a ? ? ? θ ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ?? 1 2 , 1 2 θ r r r T T r w w w T P V W b v b vb v T ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? m a x 1 1 1 2 2 1 1 2 r r r r r r T w w w w w r P V b v a b v ? ? ? ? θ ? ? ?? ?? ?? ? ? 1 r r r w Tw T w T a b v T ? ? 计算复杂度： ? ? T O M T 模式识别 – 概率密度函数的参数估计 HMM 估值算法的简化 模式识别 – 概率密度函数的参数估计 HMM 的前向算法 1. 初始化： 2. 迭代计算： 3. 结束输出： ? ? ? ? ? ? 1 1 , 1 , i ii b v i M ? ? ? ? ? ? ? ? ? ? ? ? 1 1 1 , 1 , , M i j j i i j t tab v t i M ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? 1 M T i i P V T ? ? ? ? θ 计算复杂度： ? ? 2 O M T 模式识别 – 概率密度函数的参数估计 解码问题 ? 解码问题的计算： 同估值问题的计算类似， 最直观的思路是遍历所有的可能状态转移序 列，取出最大值，计算复杂度为： O(M T T) 。 ? 同样存在着优化算法： Viterbi 算法。 模式识别 – 概率密度函数的参数估计 Viterbi 算法 1. 因为需要回朔最优路径，所以建立一个矩阵 Φ ，其元 素 保存第 t 步，第 i 个状态在第 t-1 步的最优状态。 ? ? t i ? 2. 初始化： 3. 迭代计算： 4. 结束： 5. 路径回朔： ? ? ? ? ? ? 1 1 , 1 , , i ii b v i M ? ? ? ? ? ? 1 0 i ? ? ? ? ? ? ? ? ? ? 1 1 m a x 1 , 1 ,, , i j j i i j M t t a b v t i M ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1 1 a r g m a x i j j i j M t ta ? ? ? ? ? ? ? ? ? ? ? ? ? ? * 1 m a x , T j j M P V T ? ? ? ? ? ? ? ? θ ? ? ? ? * 1 a r g m a x j j M w T T ? ? ? ? ? ? ? ? ?? ? ? ? ?