隐形马尔与科夫模型 .ppt

谢谢！ 姓名：马珂 学号：201111031655 隐形马尔科夫模型介绍 HMM的三种应用 评估：前向算法 示例 小结 马尔科夫模型 马尔科夫过程就是当前的状态只与前n个状态有关。这被称作n阶马尔科夫模型。 最简单的模型就当n=1时的一阶模型。就当前的状态只与前一状态有关。； 两种生成模式 确定性的生成模式 如：红绿灯 非确定性的生成模式 如：天气情况（晴、多云、和雨） 非确定性的生成模式（天气预测） 假设该过程是一个一阶过程，即今天的天气情况仅和昨天的天气有关 用状态转移矩阵描述 非确定性的生成模式（天气预测） 定义初始概率，称为向量 ； 一个一阶马尔科夫模型，包括如下概念： 状态：晴、多云、雨 状态转移概率 初始概率 当一个隐士不能通过直接观察天气状态来预测天气时，但他有一些水藻。民间的传说告诉我们水藻的状态与天气有一定的概率关系。也就是说，水藻的状态与天气时紧密相关的。此时，我们就有两组状态：观察状态（水藻的状态）和隐含状态（天气状态）。因此，我们希望得到一个算法可以为隐士通过水藻和马尔科夫过程，在没有直接观察天气的情况下得到天气的变化情况。 一个应用就是语音识别，我们的问题定义就是如何通过给出的语音信号预测出原来的文字信息。在这里，语音信号就是观察状态，识别出的文字就是隐含状态。 包含隐状态的天气预测 隐状态和观察状态之间的连线表示：在给定的马尔科夫过程中，一个特定的隐状态对应的观察状态的概率 我们可以得到HMM的所有要素：两类状态和三组概率 两类状态：观察状态和隐状态； 三组概率：初始概率、状态转移概率和两态对应概率（confusion matrix） 评估：根据已知的HMM找出一个观察序列的概率 考虑这样的问题，我们有一些隐马尔科夫模型（也就是一些( ∏?,A,B)三元组的集合）及一个观察序列。我们想知道哪一个HMM最有可能产生了这个给定的观察序列。例如，对于海藻来说，我们也许会有一个“夏季”模型和一个“冬季”模型，因为不同季节之间的情况是不同的——我们也许想根据海藻湿度的观察序列来确定当前的季节。 利用前向算法来得到观察状态序列对应于一个HMM的概率 解码：根据观察序列找到最有可能出现的隐状态序列 viterbi算法（隐士只能通过感受水藻的状态来判断天气状况） viterbi算法也被广泛的应用在自然语言处理领域。比如词性标注。字面上的文字信息就是观察状态，而词性就是隐状态。通过HMM我们就可以找到一句话上下文中最有可能出现的句法结构。 学习：从观察序列中得出HMM 根据观察序列和其代表的隐状态，生成一个三元组HMM ( ∏ ,A,B)。使这个三元组能够最好的描述我们所见的一个现象规律 前向—后向算法 对于水藻和天气的例子 Pr(dry,damp,soggy | HMM) = Pr(dry,damp,soggy | sunny,sunny,sunny) + Pr(dry,damp,soggy | sunny,sunny ,cloudy) + . . . . Pr(dry,damp,soggy | rainy,rainy ,rainy) 采用递归的方式计算观察序列的概率 用P t ( j ) 表示在时间t时 状态j的部分概率。计算方法如下： Pt ( j )= Pr( 观察状态 | 隐藏状态j ) x Pr(t时刻所有指向j状态的路径） 使用前向算法计算T步长观察序列的概率: t=1时刻所有状态的局部概率： 每个时间点，t=2，… ，T时，对于每个状态的局部概率，由下式计算局部概率： 给定HMM,观察序列的概率等于T时刻所有局部概率之和： 前向算法复杂度 α （1）到α（T），一共T次，每次计算需要N^2次乘法，复杂度为T * N^2 1、隐藏状态 (天气)：Sunny，Cloudy，Rainy；2、观察状态（海藻湿度）：Dry，Dryish，Damp，Soggy；3、初始状态概率： Sunny（0.63），Cloudy（0.17），Rainy（0.20）； 4、状态转移矩阵： 　　　 weather today　　　　　　　　　Sunny Cloudy Rainy　weather　Sunny 0.500 0.375 0.125 yesterday Cloudy 0.250 0.125 0.625　　　　　 Rainy 0.250 0.375 0.375 　 　5、混淆矩阵： 　　　　　　　　observed states　　　　　　 Dry Dryish Damp Soggy　　 Sunny