第5章马尔可夫链汇总.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 转移概率pij(t)和Kolmogorov微分方程 从而导出Kolmogorov向后方程为 p’ij(t)=iμpi-1,j(t)-(λ+iμ)pij(t)+λpi+1,j(t),i≥0, p’0,j(t)=-λp0,j(t)+λp1,j(t). 向前方程为 p’ij(t)=(i+1)μpi,j+1(t)-(λ+iμ)pij(t)+λpi,j-1(t), p’i,0(t)=-λpi,0(t)+μpi,1(t). 例5.43 考察某一系统运作情况(如机器运转). 如果运作 正常,则认为系统处于状态1; 如果系统正在调整(例如 机器维修,计算机杀毒等),则认为系统处于状态0.系统 运作一段时间后,会遇到不能正常运作的情况, 此时系 统需要调整. 调整后又恢复运作.假定系统从开始运作 直至遇到需要调整的运作时间是随机的,服从参数为μ 转移概率pij(t)和Kolmogorov微分方程 的指数分布,密度函数为μe-μt,t＞0.而调整期也是随 机的,服从参数λ的指数分布,密度函数为λe-λt,t＞0. 假定运作周期是相互独立的, 调整期也是相互独立的. 如果令X(t)为系统在时刻t所处的状态,则由于在时刻t 以后, 系统所处的状态仅与在时刻t及其以后的剩余运 作时间或剩余调整时间有关.利用指数分布的无记忆性 知道,X(t)是时齐Markon链. 下面我们用Kolmogorov方 程求出此Markon链的转移概率. 为了列出Kolmogorov方程,先确定qij.当时间增量Δt 很小时,如果系统在时刻t处于状态0,而在时刻t+Δt变 为状态1,则只要求在时间区间(t,t+Δt)内, 使系统恢 复,此时 转移概率pij(t)和Kolmogorov微分方程 p01(Δt)= λe-λtdt=1-e-λΔt=λΔt+o(Δt), 所以 q01=lim =λ. 同理 p10(Δt)=μΔt+o(Δt), q10=μ. 于是得到 Q= , 从而Kolmogorov向前方程为 p’i0(t)=-λpi0(t)+μpi1(t), i=0,1, (■) p’i1(t)=λpi0(t)-μpi1(t), i=0,1. 由于pi0(t)+pi1(t)=1,故将pi1(t)=1-pi0(t)代入(■)式得 p’i0(t)+(λ+μ)pi0(t)=μ, (■) Δt→0 转移概率pij(t)和Kolmogorov微分方程 在初始条件pij(0)=δij下,方程(■)的解为 pi0(t)= +ce-(λ+μ)t. 利用p00(0)=1, p10(0)=0确定常数c,得 p00(t)= + e-(λ+μ)t, p10(t)= - e-(λ+μ)t. 再利用pi1(t)=1-pi0(t),得 p01(t)= - e-(λ+μ)t, p11(t)= + e-(λ+μ)t. 为了进一步研究比如Brown运动、扩散系统等连续时间, 应用--数据压缩与熵 连续状态空间随机过程,我们给出一般的Markov过程的定 义,并依此结束本节的讨论. 定义5.6.4 称一个连续时间参数的随机过程{Xt,t≥0}具 有Markov性质,如果对 s＜t,给定{Xu,u≤s},Xt的条件 分布与给定Xs,Xt的条件分布相同. 具有这样Markov性质的过程称为Markov过程.当状态 空间可数时,Markov过程就是连续时间的Markov链. * 5.8 应用--数据压缩与熵 信息存储和恢复的数学理论基础是由Shannon建立的. 作为Markov过程的应用, 本节讨论这一理论的一个方面. 假定“文字”是由有限字母集S={a1,…,aM}的符号所构 成, 术语“文字”不必仅仅为人类语言中的