隐马尔科夫模型-Read.PDFVIP

隐马尔科夫模型 常宝宝 北京大学计算语言学研究所 chbb@pku.edu.cn 隐马尔科夫模型 隐马尔科夫模型(Hidden Markov Model, HMM)是对马尔 科夫模型的一种扩充。 隐马尔科夫模型的基本理论形成于上世纪60年 代末期和70年代初期。(L.E.Baum) 70年代，CMU 的J.K.Baker 以及IBM 的F.Jelinek 等 把隐马尔科夫模型应用于语音识别。 隐马尔科夫模型在计算语言学中有着广泛的应 用。例如隐马尔科夫模型在词类自动标注中的 应用。 马尔科夫模型 马尔科夫模型是由Andrei A. Markov于1913年提出的。 设S是一个由有限个状态组成的集合。 S= {1, 2, 3, …,n-1, n} 随机序列X 在t 时刻所处的状态为q ,其中q ∈S ，若 t t 有： P (qt j | qt − 1 i, qt − 2 k ,...) P(qt j | qt − 1 i) P (qt j |qt − 1 i) P (qs j |qs − 1 i) 则随机序列X 构成一个一阶马尔科夫链。(Markov Chain) 令aij P (qt j | qt − 1 i) 1≤ i, j ≤ n 则对于所有的i,j 有下面的关系成立：n aij ≥ 0 ∑ aij 1 j 1 马尔科夫模型 一阶马尔科夫模型可以描述为一个二元组( S, A ) ，S是 状态的集合，而A 是所有状态转移概率组成的一个n行n 列的矩阵，其中每一个元素a 为从状态i转移到状态j 的 ij 概率。 同有限状态自动机类似，状态转移关系也可以用状态 转换图来表示。 马尔科夫模型举例 天气的变化，三种状态{1(阴天), 2(多云), 3(晴天)} 。 今天的天气情况仅和昨天的天气状况有关。 根据对历史数据的观察得到下列状态转移关系。 0.4 0.6 0.3 阴天 0.2 多云 ⎡0.4 0.3 0.3⎤ 0.3 0.1 ⎢ ⎥ A 0.2 0.6 0.2 0.1 0.2 ⎢ ⎥ ⎢0.1 0.1 0.8⎦⎥ 晴天 ⎣ 0.8 马尔科夫模型 对于马尔科夫模型，给定了观察序列，同时也 就确定了状态转换序列。例如有关天气状况的 观察序列。 (晴晴晴阴阴晴云晴) 则状态转换序列为 (3, 3, 3, 1, 1, 3, 2, 3 ) 如果把晴天称为状态3的输出，阴天称为状态1 的输出，多云称为状态2 的输出。根据观察到 的输出序列就可以决定模型中的状态转换序 列。(