HMM学习问题课件.pdf

HMM学习最佳范例 前向-后向算法 根据观察序列生成隐马尔科夫模型。 评估（前向算法）：它被用来测量一个模型的相对适用性 解码（维特比算法）：它被用来推测模型隐藏的部分在做什么（“到底 发生了”什么）。 在许多实际问题的情况下这些参数都不能直接计算的，而要需要进行估 计——这就是隐马尔科夫模型中的学习问题。 前向-后向算法：以一个观察序列为基础来进行这样的估计，而这个观 察序列来自于一个给定的集合，它所代表的是一个隐马尔科夫模型中的 一个已知的隐藏集合。 2 前向-后向算法 名称由来：因为对于网格中的每一个状态，它既计算到达此状态的“前 向”概率（给定当前模型的近似估计），又计算生成此模型最 终状态 的“后向”概率（给定当前模型的近似估计）。 首先了解：后向算法和EM算法。 前向-后向算法是EM算法的一个特例。 前向-后向算法是Baum于1972年提出来的，又称之为Baum-Welch算法。 3 后向算法 前向算法：局部概率at(i)，称其为前向变量。 后向算法：定义一个后向变量Bt(i)： 后向变量(局部概率)表示的是已知隐马尔科夫模型 及t时刻位于隐藏 状态Si这一事实的概率。从后向前（故称之为后向算法）递归地计算后 向变量： 1）初始化，令t=T时刻所有状态的后向变量为1： 2）归纳，递归计算每个时间点，t=T-1,T-2,…,1时的后向变量： 4 后向算法 这样我们就计算出每个时间点上所有的隐藏状态所对应的后向变量。 t+1时刻与t时刻的后向变量之间的关系： 5 后向算法程序 6 EM算法 EM 算法是 Dempster，Laind，Rubin 于 1977 年提出的求参数极 大似然估计的一种方法，它可以从非完整数据集中对参数进行MLE(最大 似然估计)估计，是一种非常简单实用的学习算法。 这种方法可以广泛地应用于处理缺损数据，截尾数据，带有讨厌数 据等所谓的不完全数据(incomplete data)。 EM算法包括两个步骤：由E步和M步组成，通过交替使用这两个步骤，EM 算法逐步改进模型的参数的似然概率逐渐增大，最后终止于一个极大点。 7 EM算法 直观理解EM算法： 它也可被看作为一个逐次逼近算法：1、事先并不知道模型的参数， 可以随机的选择一套参数或者事先粗略地给定某个初始参数λ0 ，确定 出对应于这组参数的最可能的状态； 2、计算每个训练样本的可能结果的概率，在当前的状态下再由样 本对参数修正，重新估计参数λ，并在新的参数下重新确定模型的状 态； 3、这样，通过多次的迭代，循环直至某个收敛条件满足为止，就 可以使得模型的参数逐渐逼近真实参数。 8 前向-后向算法：局部最优 给定观察序列O及隐马尔科夫模型λ，定义t时刻位于隐藏状态Si的概率 变量为： 上式用前向、后向变量如下： 其中分母的作用是确保： 9 前向-后向算法 给定观察序列O及隐马尔科夫模型λ，定义t时刻位于隐藏状态Si及t+1 时刻位于隐藏状态Sj的概率变量为： 该变量在网格中所代表的关系如下图所示： 10 前向-后向算法 该向量由前向、后向变量表示： 而上述定义的两个变量间也存在着如下关系：