基于隐马尔可夫模型(hmm)的模式识别理论.pptVIP

基于隐马尔可夫模型（hmm）的模式识别理论 报告人 颜浩 时间 2011年4月21日 地点 实验室302 概述 基于隐马尔可夫模型（hmm）的模式识别方法在模式识别中有着广泛的应用。如语音识别、手写字识别、图想纹理建模与分类。hmm还被引入移动通信核心技术“多用户的检测”。近年来，另外在生物信息可学、故障诊断等领域也开始得到应用。 近几年已经已被学者用于人脸识别的研究之中，是今年来涌现出来的优秀人脸识别方法之一。 经过不断改进，尤其是最近的嵌入式隐马尔可夫模型（ehmm）已经在人脸识别方面取得很大的进展，经过实验，识别率较高，有很好的鲁棒性等优点。 隐马尔可夫模型基本理论依据来源于随机过程中马尔可夫过程理论。 马尔可夫及其马尔可夫过程 马尔可夫（A. Markov ，1856—1922）俄国数学家. 他开创了一种无后效性随机过程的研究，即在已知当前状态的情况下，过程的未来状态与其过去状态无关，这就是现在大家熟悉的马尔可夫过程.马尔可夫的工作极大的丰富了概率论的内容，促使它成为自然科学和技术直接有关的最重要的数学领域之 一. 在工程技术方面目前已被广泛用于通信，模式识别方面。 与马尔可夫过程相关的概念. 随机变量与随机过程 把随机现象的每个结果对应一个数，这种对应关系称为随机变量.例如某一时间内公共汽车站等车乘客的人数，电话交换台在一定时间内收到的呼叫次数等等，都是随机变量的实例. 随机过程 随机过程是一连串随机事件动态关系的定量描述.即和“时间”相关的随机变量。一般记为x(t)。比如在一天24小时，在每个整点时刻徐州火车站的旅客数量。 马尔可夫过程与马尔可夫链 设x(t)是一随机过程，过程在时刻t0+1所处的状态与时刻t0所处的状态相关，而与过程在时刻t0之前的状态无关，这个特性成为无后效性.无后效的随机过程称为马尔可夫过程(Markov Process). 举例：比如在万恶的旧社会流离失所的百姓在每天的饥饿程度是一个随机过程。假如他们在t0时刻（今天）的饥饿状态是五分饱，他们在t0+1所（明天）的饥饿状态的概率取决于t0时刻（今天），而和t0时刻（今天）之前（昨天、前天。。。）无关。这样的一个随机过程就是一个马尔可夫过程。 马尔可夫过程中的时间和状态既可以是连续的，又可以是离散的.我们称时间离散、状态离散的马尔可夫过程为马尔可夫链.在实际应用是使用马尔可夫链较多。 如何在实际中使用马尔可夫链？ 马尔可夫链怎么很好地描述出来。 即引入马尔可夫链转移矩阵. 一个例子 为了形象说明“状态”和“状态的转 移”的概念，假设在一个水池中有三 片荷叶，一只青蛙在三片荷叶之间跳 跃玩耍，见图. 箭头表示跳跃的方向，数字表示跳跃的概 率，白环表示青蛙保持不动. 我们称 为转移概率.由于这种转 移概率不依赖于时间，因此具有稳定性，我们用常数 来表示.将各个状态之间的转移概率用一个矩阵表 示出来，就得到一个马尔可夫链数学模型即（Markov Chain Mode ）： 隐马尔可夫模型的基本算法 识别问题：给定观测符号序列 和模型 ，如何快速有效地计算输出概率 估计模型产生观测符号序列的最有可能经过的路径。所有可能的路径中，概率最大的路径。 模型训练问题：调整模型参数，使得输出概率最大。 1、前向－后向算法Forward-Backward 给定一个观测序列 以及一个模型 ，由模型产生出的概率 直接方法，列举所有可能的路径，计算输出概率，然后求和。计算量为2TNT。如状态数N=5,观测值序列长度T=100，计算量为1072。 前向－后向算法 √前向算法 一个前向变量 给定模型下，产生t以前的部分观测符号序列（包含t 在内） ，且t时刻又处于状态 的概率。 迭代算法 初始化： 迭代计算： 最后计算： √后向算法 一个后向变量 给定模型下，t时刻处于状态 ,产生观测符号 序列 的概率。 迭代算法 初始化： 迭代计算： 最后计算： 2.维特比（viterbi）算法 一个前向变量 给定模型下，产生t以前的部分观测符号序列（包含t 在内） ，且时刻又处于状态 的最大概率。 Baum-Welch算法 重估： Hmm算法关系 S1 S2 S3 S