隐马过程在新词识别中的应用.docxVIP

隐马过程在新词识别等中的应用1, 隐马模型简介隐马尔可夫模型（Hidden Markov Model，HMM）作为一种统计分析模型，创立于20世纪70年代。80 年代得到了传播和发展，成为信号处理的一个重要方向，现已成功地用于语音识别，行为识别，文字识别以及故障诊断等领域。隐马尔可夫模型状态变迁图:x — 隐含状态y — 可观察的输出a — 转换概率（transition probabilities）b — 输出概率（output probabilities）隐马尔可夫模型它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。 在正常的马尔可夫模型中，状态对于观察者来说是直接可见的。这样状态的转换概率便是全部的参数。而在隐马尔可夫模型中,状态并不是直接可见的，但受状态影响的某些变量则是可见的。每一个状态在可能输出的符号上都有一概率分布。因此输出符号的序列能够透露出状态序列的一些信息。2，HMM的基本理论隐马尔可夫模型是马尔可夫链的一种，它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向量是由一个具有相应概率密度分布的状态序列产生。所以，隐马尔可夫模型是一个双重随机过程----具有一定状态数的隐马尔可夫链和显示随机函数集。自20世纪80年代以来，HMM被应用于语音识别，取得重大成功。到了90年代，HMM还被引入计算机文字识别和移动通信核心技术“多用户的检测”。近年来，HMM在生物信息科学、故障诊断等领域也开始得到应用。隐马尔可夫模型（HMM）可以用五个元素来描述，包括2个状态集合和3个概率矩阵： 　（1）隐含状态 S 　这些状态之间满足马尔可夫性质，是马尔可夫模型中实际所隐含的状态。这些状态通常无法通过直接观测而得到。（例如S1、S2、S3等等) 　（2） 可观测状态 O 　在模型中与隐含状态相关联，可通过直接观测而得到。(例如O1、O2、O3等等，可观测状态的数目不一定要和隐含状态的数目一致）。　（3） 初始状态概率矩阵 π　 　表示隐含状态在初始时刻t=1的概率矩阵，(例如t=1时，P(S1)=p1、P(S2)=P2、P(S3)=p3，则初始状态概率矩阵 π=[ p1 p2 p3 ]. 　（4） 隐含状态转移概率矩阵 A。 　描述了HMM模型中各个状态之间的转移概率。 　其中　表示在 t 时刻、状态为 Si 的条件下，在 t+1 时刻状态是 的概率。 　（5） 观测状态概率矩阵 B （英文名为Confusion Matrix，直译为混淆矩阵不太易于从字面理解）。 　令N代表隐含状态数目，M代表可观测状态数目，则： 　 　表示在 t 时刻、隐含状态是 条件下，观察状态为 的概率。　一般的，可以用λ=(A,B,π)三元组来简洁的表示一个隐马尔可夫模型。隐马尔可夫模型实际上是标准马尔可夫模型的扩展，添加了可观测状态集合和这些状态与隐含状态之间的概率关系。3，HMM的三个基本问题HMM核心理论是解决三个基本问题：1.已知观测序列O={,……}和模型,如何有效计算在给定模型的条件下产生观测序列O的条件概率最大。2.已知观测序列O={,……}和模型,如何选择相应的在某种意义上最佳的(能最好解释观测序列的)状态序列S。3.如何调整模型参数以使条件概率最大。三个基本问题的意义第一个问题是评估问题，实际就是一个识别的问题，即已知模型和一个观测序列O，如何计算由该模型产生出该观测序列的概率,问题1的求解能选择出与给定观测序列最匹配的模型。第二个问题目的是找出模型中隐藏的部分，即找出正确的状态序列（，这是一个典型的估计问题。第三个问题是模型的参数最优化，通过训练自适应调整模型参数使之适应于训练序列并最优化，从而得到实际应用中最好的模型，这是一个参数训练问题。三个问题对应算法分别为：前后向算法，Viterbi算法和Baum-Welch算法。4，隐马尔可夫模型的计算隐形马尔科夫模型的三个问题在新词识别,翻译,语音识别等很多领域得到了广泛应用,下面我们对每个问题的求解以及相应的算例进行一下说明.第一个问题的求解直接计算给定观察序列O={,……}和模型，求解，最直接的方法就是通过穷举所有的长度为状态序列。共有个状态序列，考虑其中一个：，是初始状态。给定S，观察序列O出现的概率为 (7)因为各观察量假设是统计独立的，因此得到： (8)上面的状态序列的概率为： (9)O和S的联合概率为： (10)将联合概率中的所有s序列累加就得到O的概率（给定模型参数）。即： (11)根据上式，要计算，需要规模的计算量。如果对于N=5（状态数），T=100(观察量)，需要2*100*5100次计算。前向－后向算法