概率论与随机过程 论文.docxVIP

题目：马尔科夫链的工程应用举例 摘 要 在讨论马尔科夫链基本概念的基础上，分析了实践工程中两个应用马尔科夫链的实例，即隐马尔科夫模型在语音识别中的应用和用马尔科夫链对 Linux 进程行为的异常检测。前者通过建立隐马尔科夫模型（HMM），实现语音识别；后者将一个系统调用序列看作是由不同状态（系统调用）组成的一个马尔科夫链，再利用数学工具对Linux 的进程异常行为进行检测。 关键词：马尔科夫链，隐马尔科夫模型（HMM），语音识别技术 一． 马尔科夫链的概念 马尔科夫链，因安德烈?马尔科夫（A.A.Markov，1856－1922）得名，是数学中具有马尔科夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。 马尔科夫链是随机变量X1,X2,X3...的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而Xn的值则是在时间n的状态。如果Xn+1对于过去状态的条件概率分布仅是Xn的一个函数，则 　　P(Xn+1=x|X0, X1, X2, …, Xn) = P(Xn+1=x|Xn). 这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔科夫性质。 马尔科夫在1906年首先做出了这类过程 。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。 　　 二．马尔科夫链的工程应用举例 （一）隐马尔科夫模型在语音识别中的应用 1.隐马尔科夫模型的概念： 隐马尔科夫模型（Hidden Markov Model，HMM）作为一种统计分析模型，创立于20世纪70年代。80年代得到了传播和发展，成为信号处理的一个重要方向，现已成功地用于语音识别，行为识别，文字识别以及故障诊断等领域。 基本理论 隐马尔科夫模型是马尔科夫链的一种，它的状态不能直接观察到，但能通过观测向量序列观察到每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向量是由一个具有响应概率密度分布的状态序列产生。所以，隐马尔科夫模型是一个双重随机过程----具有一定状态数的隐马尔科夫链和显示随机函数集。自20世纪80年代以来，HMM被应用于语音识别，取得重大成功。到了90年代，HMM还被引入计算机文字识别和移动通信核心技术“多用户的检测”。近年来，HMM在生物信息科学、故障诊断等领域也开始得到应用。 模型的表达 隐马尔科夫模型可以用五个元素来描述： 1） N，模型的隐状态数目。虽然这些状态是隐含的，但在许多实际应用中，模型的状态通常有具体的物理意义 2） M，每个状态的不同观测值的数目。 3） A ， 状态转移概率矩阵。描述了HMM模型中各个状态之间的转移概率。其中 　　Aij = P(at+1 =Sj | qt=Si),1≤i,j≤N. (1) 式（1）表示在t时刻、状态为Si的条件下，在t+1时刻状态是Sj的概率。 4） B ，观测概率矩阵。其中 　　Bj(k) = P[Vk(t) | qt = Sj]; 1≤j≤N,1≤k≤M. 　　表示在t时刻、状态是Sj条件下，观察符号为Vk(t)的概率。 5） π 初始状态概率矩阵 π={πj} πj= P[q1 = Sj];1≤j≤N. 　　表示在出示t=1时刻状态为Sj的概率。 　　一般的，可以用λ=(A,B,π)来简洁的表示一个隐马尔科夫模型。给定了N,M,A,B,π后，隐马尔科夫模型可以产生一个观测序列 O=O1O2O3…Ot 2.语音识别技术概述 语音识别系统本质上是一种模式识别系统,目前有很多语音识别算法,但其基本原理和基本技术相似。一个完整的语音识别系统一般都包括有特征提取、模式匹配和参考模式库3个基本单元,它的基本结构如下图所示。 (1)特征提取 所谓特征提取就是从语音信号中提取用于语音识别的有用信息,其基本思想是将预处理过的信号通过一次变换,去掉冗余部分,而把代表语音本质特征的参数抽取出来,如平均能量、平均跨零率、共振峰、LPC系数、MFCC系数等。 (2)模式匹配 这是整个语音识别系统的核心,它是根据一定规则(如HMM)以及专家知识(如构词规则、语法规则、语义规则等),计算输入特征与参考模式库之间的相似度(如匹配距离、似然概率),判断出输入语音的语意信息,得到最佳的识别结果。 (3)参考模式库 在识别之前首先建立参考模式库,通过讲话者多次重复语音,从原始语音样本中去除冗余信息,保留关键数据,再按照一定规则对数据加以聚类,形成模式库。 3. 隐马尔科夫模型HMM (H idden Markov Model)分析 HMM方法现已成为语音识别的主流技术,目前大多数大词汇量、连续语音的非特定人语音识别系统都是基于HMM的。HMM算法很好地描述了语音信号的整体非平稳性