马尔科夫及其应用.docVIP

马尔可夫过程及其应用 一． 马尔可夫过程的简介 马尔科夫过程(MarKov Process)是一个典型的随机过程。设X(t)是一随机过程，当过程在时刻t0所处的状态为已知时，时刻t(tt0)所处的状态与过程在t0时刻之前的状态无关，这个特性成为无后效性。无后效的随机过程称为马尔科夫过程。马尔科夫过程中的时同和状态既可以是连续的，又可以是离散的。我们称时间离散、状态离散的马尔科夫过程为马尔科夫链。马尔科夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵控制。 二． 马尔可夫过程的一般概念 2.1定义 设有一随机过程X(t)，t∈T，若在t1,t1,…tn-1,tn(t1t2…tn-1tn∈T) 时刻对X(t)观测得到相应的观测值x1,x2,…,xn-1,xn满足条件: 或 则称此类过程为具有马尔科夫性质的过程或马尔科夫过程，简称马氏过程。其中 代表在X(tn-1)=xn-1,…,X(t2)=x2,X(t1)=x1,的条件下,时刻X(tn)取xn值的条件分布函数。 若把tn-1看做“现在”，因为t1t2…tn-1tn则tn就可以看成“将来”，t1,t2,…,tn-2就当做“过去”。因此上述定义可表述为在现在状态X(tn-1)取值为xn-1的条件下，将来状态X(tn)与过去状态X(tn-2)X(tn-3),…,X(t1)是无关的。 2.2转移概率分布 定义马氏过程的转移概率分布为 或 转移概率分布是条件概率分布，对X而言，它是一个分布函数，有以下性质： 1) FX(x;t|x0;t0)=0 2) FX(∞;t|x0;t0)=1 3) FX(-∞;t|x0;t0)=0 4) FX(x;t|x0;t0)是关于x的单调非降、右连续的函数。 5) 满足切普曼-科尔莫哥洛夫方程 应用全概率公式,可以证明上式成立。 2.3转移概率密度 如果FX(x;t|x0;t0)关于x的导数存在,则: 称之为马尔科夫过程的转移概率密度。反之，可得 并且还有 此时，无后效性可表示为 马氏过程的转移概率密度也满足切普曼-科尔莫哥洛夫方程 三． 马尔可夫过程的统计特性及性质 由前面的内容可知，随机过程的统计特性可由有限维联合概率分布来近似的描述。对于马尔科夫过程来说，其维概率密度可以表示为 当取t1为初始时刻时，fx(x1,t1)表示初始概率分布(密度)。上式表明：马氏过程的统计特性完全由它的初始概率分布（密度）和转移概率分布（密度）所确定。上面已经介绍了马氏过程的定义及一些特征，下面给出马氏过程的几个有用性质。 1) 同马尔科夫序列的情况一样，逆向的马尔科夫过程仍为马尔科夫过程。 对任意的整数n和k，有 2) 若马尔科夫过程的现在状态已知，则将来状态与过去状态无关。若tntrts则在已知Xr(过程在t时刻的条件下)，随机变量Xn和Xs是独立的，满足 3) 若对每个t=t1t2，X(t2)-X(t1)与X(t)皆是独立的，则过程X(t)是马氏过程。 4) 由转移概率密度的无后效性可推出 四．马尔可夫过程的应用 4.1马尔可夫应用概述 马尔可夫随机过程的发展史说明了理论与实际之间的密切关系。许多研究方向的提出，归根到底是有其实际背景的。反过来，当这些方向被深入研究后，又可指导实践，进一步扩大和深化应用范围。下面简略介绍一下马尔可夫随机过程本身在各方面的应用情况。 　　在物理学方面，高能电子或核子穿过吸收体时，产生级联（或倍增）现象,在研究电了-光子级联过程的起伏问题时，要用到随机过程，常以泊松过程、弗瑞过程或波伊亚过程作为实际级联的近似，有时还要用到更新过程（见点过程）的概念。当核子穿到吸收体的某一深度时，则可用扩散方程来计算核子的概率分布。物理学中的放射性衰变，粒子计数器，原子核照相乳胶中的径迹理论和原子核反应堆中的问题等的研究，都要用到泊松过程和更新理论。湍流理论以及天文学中的星云密度起伏、辐射传递等研究要用到随机场的理论。探讨太阳黑子的规律及其预测时，时间序列方法非常有用。 　　化学反应动力学中，研究化学反应的时变率及影响这些时变率的因素问题,自动催化反应，单分子反应,双分子反应及一些连锁反应的动力学模型等，都要以生灭过程（见马尔可夫过程）来描述。 　　随机过程理论所提供的方法对于生物数学具有很大的重要性，许多研究工作者以此来构造生物现象的模型。研究群体的增长问题时，提出了生灭型随机模型，两性增长模型，群体间竞争与生尅模型，群体迁移模型，增长过程的扩散模型等等。有些生物现象还可以利用时间序列模型来进行预报。传染病流行问题要用到具有有限个状态的多变量非线性生灭过程。在遗传问题中，着重研究群体经过多少代遗传后，进入某一固定类和首次进入此固定类的时间，以及最大基因频率的分布等。 　　许多服务系统，如电话通信，船舶装卸，机器损修，病人候诊，红