隐马尔科夫简析.docVIP

隐马尔科夫 隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。 马尔可夫过程（Markov process）是一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态 （现在）的条件下，它未来的演变 （将来）不依赖于它以往的演变 ( 过去 ) 。 Generating Patterns 有两种生成模式：确定性的和非确定性的。 确定性的生成模式：就好比日常生活中的红绿灯，我们知道每个灯的变化规律是固定的。我们可以轻松的根据当前的灯的状态，判断出下一状态。 ? 非确定性的生成模式：比 如说天气晴、多云、和雨。与红绿灯不同，我们不能确定下一时刻的天气状态，但是我们希望能够生成一个模式来得出天气的变化规律。我们可以简单的假设当前的 天气只与以前的天气情况有关，这被称为马尔科夫假设。虽然这是一个大概的估计，会丢失一些信息。但是这个方法非常适于分析。 n阶马尔科夫模型 马尔科夫过程就是当前的状态只与前n个状态有关。这被称作n阶马尔科夫模型。最简单的模型就当n=1时的一阶模型。就当前的状态只与前一状态有关。下图是所有可能的天气转变情况： ?和确定性生成模式的区别，这里我们得到的是一个概率模型转移概率对于有M个状态的一阶马尔科夫模型，共有M*M个状态转移。每一个状态转移都有其一定的概率，我们叫做转移概率，所有的转移概率可以用一个矩阵表示。在整个建模的过程中，我们假设这个转移矩阵是不变的。 ? 该矩阵的意义是：如果昨天是晴，那么今天是晴的概率为0.5，多云的概率是0.25，雨的概率是0.25。注意每一行和每一列的概率之和为1。 初始概率 另外，在一个系统开始的时候，我们需要知道一个初始概率，称为 向量。 ? 到现在，我们定义一个一阶马尔科夫模型，包括如下概念： 状态：晴、多云、雨 状态转移概率 初始概率 马尔科夫模型也需要改进！ 崔晓源 翻译 当 一个隐士不能通过直接观察天气状态来预测天气时，但他有一些水藻。民间的传说告诉我们水藻的状态与天气有一定的概率关系。也就是说，水藻的状态与天气时紧 密相关的。此时，我们就有两组状态：观察状态（水藻的状态）和隐含状态（天气状态）。因此，我们希望得到一个算法可以为隐士通过水藻和马尔科夫过程，在没 有直接观察天气的情况下得到天气的变化情况。 更容易理解的一个应用就是语音识别，我们的问题定义就是如何通过给出的语音信号预测出原来的文字信息。在这里，语音信号就是观察状态，识别出的文字就是隐含状态。 这里需要注意的是，在任何一种应用中，观察状态的个数与隐含状态的个数有可能不一样的。下面我们就用隐马尔科夫模型HMM来解决这类问题。 HMM 下图是天气例子中两类状态的转移图，我们假设隐状态是由一阶马尔科夫过程描述，因此他们相互连接。 隐状态和观察状态之间的连线表示：在给定的马尔科夫过程中，一个特定的隐状态对应的观察状态的概率。我们同样可以得到一个矩阵： 注意每一行（隐状态对应的所有观察状态）之和为1。 到此，我们可以得到HMM的所有要素：两类状态和三组概率 ? 两类状态：观察状态和隐状态； 三组概率：初始概率、状态转移概率和两态对应概率（confusion matrix） HMM 定义 崔晓源 翻译 HMM是一个三元组 (,A,B). the vector of the initial state probabilities; ? the state transition matrix; ? the confusion matrix; 这其中，所有的状态转移概率和混淆概率在整个系统中都是一成不变的。这也是HMM中最不切实际的假设。 HMM的应用 有三个主要的应用：前两个是模式识别后一个作为参数估计 (1) 评估 根据已知的HMM找出一个观察序列的概率。 这 类问题是假设我们有一系列的HMM模型，来描述不同的系统（比如夏天的天气变化规律和冬天的天气变化规律），我们想知道哪个系统生成观察状态序列的概率最 大。反过来说，把不同季节的天气系统应用到一个给定的观察状态序列上，得到概率最大的哪个系统所对应的季节就是最有可能出现的季节。（也就是根据观察状态 序列，如何判断季节）。在语音识别中也有同样的应用。 我们会用forward algorithm 算法来得到观察状态序列对应于一个HMM的概率。 (2) 解码 根据观察序列找到最有可能出现的隐状态序列 回想水藻和天气的例子，一个盲人隐士只能通过感受水藻的状态来判断天气状况，这就显得尤为重要。我们使用viterbi algorithm来解决