HMM(隐马尔可夫模型).docVIP

HMM (隐马尔可夫模型 隐马尔可夫模型 (Hidden Markov Model, HMM 是统计模型,它?来 描述?个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数 中确定该过程的隐含参数。然后利?这些参数来作进?步的分析,例如 模式识别。 是在被建模的系统被认为是?个马尔可夫过程与未观测到的(隐藏的的状态的统计 马尔可夫模型。 下???个简单的例?来阐述: 假设我??有三个不同的骰?。第?个骰?是我们平常见的骰?(称这个骰?为 D6, 6个?,每个?(1, 2, 3, 4, 5, 6出现的概率是 1/6。第?个骰?是个四? 体(称这个骰?为 D4,每个?(1, 2, 3, 4出现的概率是 1/4。第三个骰?有? 个?(称这个骰?为 D8,每个?(1, 2, 3, 4, 5, 6, 7, 8出现的概率是 1/8 。 假设我们开始掷骰?,我们先从三个骰??挑?个,挑到每?个骰?的概率都是 1/3。 然后我们掷骰?,得到?个数字, 1, 2, 3, 4, 5, 6, 7, 8中的?个。不停的重复上 述过程,我们会得到?串数字,每个数字都是 1, 2, 3, 4, 5, 6, 7, 8中的?个。例 如我们可能得到这么?串数字(掷骰? 10次:1 6 3 5 2 7 3 5 2 4 这串数字叫做可见状态链。但是在隐马尔可夫模型中,我们不仅仅有这么?串可见状 态链,还有?串隐含状态链。在这个例??,这串隐含状态链就是你?的骰?的序 列。?如,隐含状态链有可能是:D6 D8 D8 D6 D4 D8 D6 D6 D4 D8 ?般来说, HMM 中说到的马尔可夫链其实是指隐含状态链,因为隐含状态(骰? 之间存在转换概率(transition probability。在我们这个例??, D6的下?个状态是 D4, D6, D8的概率都是 1/3。 D4, D8的下?个状态是 D4, D6, D8的转换概率也都? 样是 1/3。这样设定是为了最开始容易说清楚,但是我们其实是可以随意设定转换概率 的。?如,我们可以这样定义, D6后?不能接 D4, D6后?是 D6的概率是 0.9,是 D8的概率是 0.1。这样就是?个新的 HMM 。 同样的,尽管可见状态之间没有转换概率,但是隐含状态和可见状态之间有?个概率 叫做输出概率(emission probability。就我们的例?来说,六?骰(D6产? 1的输 出概率是 1/6。产? 2, 3, 4, 5, 6的概率也都是 1/6。我们同样可以对输出概率进?其 他定义。?如,我有?个被赌场动过?脚的六?骰?,掷出来是 1的概率更?,是 1/2,掷出来是 2, 3, 4, 5, 6的概率是 1/10 。 其实对于 HMM 来说,如果提前知道所有隐含状态之间的转换概率和所有隐含状态到 所有可见状态之间的输出概率,做模拟是相当容易的。但是应? HMM 模型时候呢, 往往是缺失了?部分信息的,有时候你知道骰?有?种,每种骰?是什么,但是不知 道掷出来的骰?序列;有时候你只是看到了很多次掷骰?的结果,剩下的什么都不知 道。如果应?算法去估计这些缺失的信息,就成了?个很重要的问题。这些算法我会 在下?详细讲。 如果你只想看?个简单易懂的例?,就不需要往下看了。 说两句废话,答主认为呢,要了解?个算法,要做到以下两点:会其意,知其形。答 主回答的,其实主要是第?点。但是这?点呢,恰恰是最重要,?且很多书上不会讲 的。正如你在追?个姑娘,姑娘对你说 “ 你什么都没做错! ” 你要是只看姑娘的表达形 式呢,认为??什么都没做错,显然就理解错了。你要理会姑娘的意思, “ 你赶紧给 我道歉! ” 这样当你看到对应的表达形式呢,赶紧认错,跪地求饶就对了。数学也是 ?样,你要是不理解意思,光看公式,往往?头雾?。不过呢,数学的表达顶多也就 是晦涩了点,姑娘的表达呢,有的时候就完全和本意相反。所以答主?直认为理解姑 娘?理解数学难多了。 回到正题,和 HMM 模型相关的算法主要分为三类,分别解决三种问题: 1知道骰?有?种(隐含状态数量,每种骰?是什么(转换概率,根据掷骰? 掷出的结果(可见状态链,我想知道每次掷出来的都是哪种骰?(隐含状态链。 这个问题呢,在语?识别领域呢,叫做解码问题。这个问题其实有两种解法,会给出 两个不同的答案。每个答案都对,只不过这些答案的意义不?样。第?种解法求最? 似然状态路径,说通俗点呢,就是我求?串骰?序列,这串骰?序列产?观测结果的 概率最?。第?种解法呢,就不是求?组骰?序列了,?是求每次掷出的骰?分别是 某种骰?的概率。?如说我看到结果后,我可以求得第?次掷骰?是 D4的概率是 0.5, D6的概率是 0.3, D8的概率是 0.2. 第?种解法我会在下?说到,但是第