隐马尔可夫总结.pdfVIP

隐马尔可夫（Hidden Markov Model ， HMM ） 一、马尔可夫过程（Markov Process） 1、马尔可夫过程介绍 马尔可夫过程 (Markov Process) ，它因俄罗斯数学家安德烈·马尔 可夫而得名，代表数学中具有马尔可夫性质的离散随机过程。该过程 中，每个状态的转移只依赖于之前的 n 个状态，这个过程被称为 1 个 n 阶的模型，其中 n 是影响转移状态的数目。最简单的马尔科夫过程 就是一阶过程，每一个状态的转移只依赖于其之前的那一个状态。 马尔可夫链是随机变量 X , … , X 的一个数列。这些变量的范 1 n 围，即他们所有可能取值的集合，被称为“状态空间”，而 Xn 的值则是 在时间 n 的状态。如果 Xn+1 于过去状态的条件概率分布仅是 Xn 的 一个函数，则 这里 x 为过程中的某个状态。上面这个恒等式可以被看作是马尔 可夫性质。 2、马尔可夫过程举例 下图展示了天气这个例子中所有可能的一阶转移： 注意一个含有 N 个状态的一阶过程有 N2 个状态转移。每一个 转移的概率叫做状态转移概率 (state transition probability) ，即从一个 状态转移到另一个状态的概率。这所有的 N2 个概率可以用一个状态 转移矩阵来表示，其表示形式如下： 对该矩阵有如下约束条件： 下面就是海藻例子的状态转移矩阵： 这个矩阵表示，如果昨天是晴天，那么今天有 50%的可能是晴天， 37.5%的概率是阴天，12.5%的概率会下雨，很明显，矩阵中每一行的 和都是 1。 为了初始化这样一个系统，我们需要一个初始的概率向量 ： 这个向量表示第一天是晴天。 3、一阶马尔可夫过程定义 如上述马尔可夫过程例子可知，我们为一阶马尔可夫过程定义了 以下三个部分： 状态 ：晴天、阴天和下雨； 初始向量 ：定义系统在时间为 0 的时候的状态的概率； 状态转移矩阵：每种天气转换的概率； 所有的能被这样描述的系统都是一个马尔可夫过程。 二、隐马尔可夫过程（HMM） 1、隐马尔可夫模型介绍 隐马尔可夫模型(HMM)是一个输出符号序列统计模型，具有 T 个 状态 X ,X X ,它按一定的周期从一个状态转移到另一个状态，每 1 2 t-1 次转移时，输出一个符号（观测值）。转移到哪一个状态，转移时输出什 么符号，分别由状态转移概率和转移时输出概率来决定。因为只能观 测到输出符号的序列，而不能观测到状态转移序列（即模型的观测序列 是通过哪个状态路径是不知道的）所以称为隐马尔可夫模型。 2、隐马尔可夫过程举例 下面是一个简单的例子。气象学上，可通过年轮的宽窄了解各年 的气候状况，利用年轮上的信息可推测出几千年来的气候变迁情况。 年轮宽表示那年光照充足，风调雨顺；若年轮较窄，则表示那年温度低、 雨量少，气候恶劣。为了简单起见，我们只考虑冷(code)，热(hot)两种 温度。根据现代的气象知识可以知道，“冷”的一年跟着下一年为热的 概率为 0.4，为冷的概率为 0.6 ；“热”的一年跟着下一年为热的概率为 0.7，为冷的概率为 0.3。可以简单的归纳为下面规律： 我们将树的年轮简单分为小(small), 中(middle),大(large)三种，或 者分别写成 S,M,L。根据现代的气象知识可以知道，热的一年树木年 轮为“小”，“ 中”，“大”的概率分别为0.1,0.4,0.5 ；冷的一年树木年轮为“小”， “ 中”，“大”的概率分别为 0.7,0.2,0.1。因此，冷(C)，热(H) 年轮的影响 可以简单归纳为下面规律： 在这个系统中，状态序列是每年的温度 H 或者 C。因为下一年的 温度只与上一年有关，所以从一个状态(温度)转移到下一个状态(温度) 可以看成是一个一阶 Markov process。因为无法观测过去的温度，状 态序列也被称为隐藏状态。尽管我们不能观测过去的状态(温度)序列， 但是可以通过树的年轮给我们提供的信息预测温度。我们的