隐马尔科夫模型-知识管理与数据分析试验室.PPT

书面语理解上的应用 在词性标注方面, 采用隐马尔可夫模型的标注方法具有很强的健壮性, 是当前主流的标注方法。 词性标注就是在给定的句子中判定每个词的语法范畴, 确定词性并加以标注的过程, 它发生在对文本执行分词处理之后, 是对切分所得的词进行分析、运算,确定词在上下文中合适的词类性质并加以标注的过程。 在隐马尔可夫模型下, 词性标注问题可以表述为:在给定观察值和模型参数的情况下, 求状态序列T=t1, t2, t3, ?tm, 使得这一状态序列可以“最好地解释”观察值序列W=w1, w2, w3, ?, wm。T°为最终的标注结果,即概率最大的词性序列。 * 知识管理与数据分析实验室 * 生物学基因预测上的应用 隐马尔可夫模型(HMM)研究是当前机器学习的热点领域,该模型在80年代末90年代初该模型就被应用于计算生物学。隐马尔可夫模型能很好地模拟生物的进化过程,其在生命科学特别是生物信息领域很受欢迎,特别是在生物信息检测领域,已用于基因预测、蛋白质家族的构建方面。 结语 隐马尔可夫模型(HMM)研究是当前研究的热点领域,已经得到广泛的应用。正如前面所说，隐马尔科夫模型在语音识别、书面语言理解、生物学基因预测上的都取得了重大的成就，目前，已成功用于人脸识别、手写识别等领域。可以预测，在今后这一模型的还会得到更加广泛的应用。 知识管理与数据分析实验室 知识管理与数据分析实验室 隐马尔可夫模型Hidden Markov model 周潇 * * 知识管理与数据分析实验室 内容框架 * 知识管理与数据分析实验室 * 隐马尔科夫模型的由来 隐马尔科夫模型的基本理论及实例 隐马尔科夫模型的三个基本算法 隐马尔科夫模型的应用 4 1 2 3 隐马尔可夫模型（HMM）的由来  1870年，俄国有机化学家Vladimir V. Markovnikov第一次提出Markov Model（MM） Baum 及他的同事于60年代末70年代初提出隐马尔可夫理论，并用于语音识别 80年代末90年代初HMM被用于计算生物学 目前已成功用于人脸识别、手写识别领域 * 知识管理与数据分析实验室 * 内容框架 * 知识管理与数据分析实验室 * 隐马尔科夫模型的由来 隐马尔科夫模型的基本理论及实例 隐马尔科夫模型的三个基本算法 隐马尔科夫模型的应用 4 1 2 3 * 知识管理与数据分析实验室 * 隐马尔可夫模型的基本理论 马尔可夫性 马尔可夫 过程 马尔可夫链 隐马尔可夫模型 马尔可夫性 如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性,或称此过程为马尔可夫过程。用公式表示：X(t+1) = f( X(t) ) * 知识管理与数据分析实验室 * 马尔科夫过程 过程或系统在时刻T0所处状态为已知的条件下，过程在时刻TT0所处状态的条件分布与过程在时刻t0之前所处的状态无关。 通俗的说，就是在已经知道过程“现在”的条件下，其“将来”不依赖于“过去”。 * 知识管理与数据分析实验室 * 马尔科夫链 时间和状态都离散的马尔科夫过程称为马尔科夫链 记作{Xn = X(n), n = 0,1,2,…} 在时间集T1 = {0,1,2,…}上对离散状态的过程相继观察的结果 链的状态空间记做I = {a1, a2,…}, ai∈R. 条件概率Pij ( m ,m+n)=P{Xm+n = aj|Xm = ai} 为马氏链在时刻m处于状态ai条件下，在时刻m+n转移到状态aj的转移概率。 * 知识管理与数据分析实验室 * 隐马尔科夫模型 HMM是一个双重随机过程，两个组成部分： 马尔可夫链：描述状态的转移，用转移概率描述。 一般随机过程：描述状态与观察序列间的关系， 用观察值概率描述。 * 知识管理与数据分析实验室 * 隐马尔科夫模型的组成 * 知识管理与数据分析实验室 * Markov链 （?, A） 随机过程 （B） 状态序列 观察值序列 q1, q2, ..., qT o1, o2, ..., oT 一个实验——球缸模型 设有N个缸，每个缸中装有很多彩球，球的颜色由一组概率分布描述。实验进行方式如下 根据某个初始概率分布，随机选择N个缸中的一个，例如第I个缸。 根据这个缸中彩球颜色的概率分布，随机选择一个球，记下球的颜色，记为O1，再把球放回缸中。 根据描述缸的转移的概率分布，随机选择下一口缸，重复步骤1。 最后我们可以得到一个描述球的颜色的序列O1,O2,…，称为观察值序列。 * 知识管理与数据分析实验室 * 球缸模型示意图 * 知识管理与数据分析实验室 * 观测到的球序列 缸 3 缸 1 缸 2 通道 关于球缸模型的说明 缸之间的转移不能被直接观察到 从缸中所选取的球的颜色和缸并不是