第5章马尔可夫链剖析.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 转移概率pij t 和Kolmogorov微分方程 从而导出Kolmogorov向后方程为 p’ij t iμpi-1,j t - λ+iμ pij t +λpi+1,j t ,i≥0, p’0,j t -λp0,j t +λp1,j t . 向前方程为 p’ij t i+1 μpi,j+1 t - λ+iμ pij t +λpi,j-1 t , p’i,0 t -λpi,0 t +μpi,1 t . 例5.43 考察某一系统运作情况 如机器运转 . 如果运作 正常,则认为系统处于状态1; 如果系统正在调整 例如 机器维修,计算机杀毒等 ,则认为系统处于状态0.系统 运作一段时间后,会遇到不能正常运作的情况, 此时系 统需要调整. 调整后又恢复运作.假定系统从开始运作 直至遇到需要调整的运作时间是随机的,服从参数为μ 转移概率pij t 和Kolmogorov微分方程 的指数分布,密度函数为μe-μt,t＞0.而调整期也是随 机的,服从参数λ的指数分布,密度函数为λe-λt,t＞0. 假定运作周期是相互独立的, 调整期也是相互独立的. 如果令X t 为系统在时刻t所处的状态,则由于在时刻t 以后, 系统所处的状态仅与在时刻t及其以后的剩余运 作时间或剩余调整时间有关.利用指数分布的无记忆性 知道,X t 是时齐Markon链. 下面我们用Kolmogorov方 程求出此Markon链的转移概率. 为了列出Kolmogorov方程,先确定qij.当时间增量Δt 很小时,如果系统在时刻t处于状态0,而在时刻t+Δt变 为状态1,则只要求在时间区间 t,t+Δt 内, 使系统恢 复,此时 转移概率pij t 和Kolmogorov微分方程 p01 Δt λe-λtdt 1-e-λΔt λΔt+o Δt , 所以 q01 lim λ. 同理 p10 Δt μΔt+o Δt , q10 μ. 于是得到 Q , 从而Kolmogorov向前方程为 p’i0 t -λpi0 t +μpi1 t , i 0,1, ■ p’i1 t λpi0 t -μpi1 t , i 0,1. 由于pi0 t +pi1 t 1,故将pi1 t 1-pi0 t 代入 ■ 式得 p’i0 t + λ+μ pi0 t μ, ■ Δt→0 转移概率pij t 和Kolmogorov微分方程 在初始条件pij 0 δij下,方程 ■ 的解为 pi0 t +ce- λ+μ t. 利用p00 0 1, p10 0 0确定常数c,得 p00 t + e- λ+μ t, p10 t - e- λ+μ t. 再利用pi1 t 1-pi0 t ,得 p01 t - e- λ+μ t, p11 t + e- λ+μ t. 为了进一步研究比如Brown运动、扩散系统等连续时间, 应用--数据压缩与熵 连续状态空间随机过程,我们给出一般的Markov过程的定 义,并依此结束本节的讨论. 定义5.6.4 称一个连续时间参数的随机过程 Xt,t≥0 具 有Markov性质,如果对 s＜t,给定 Xu,u≤s ,Xt的条件 分布与给定Xs,Xt的条件分布相同. 具有这样Markov性质的过程称为Markov过程.当状态 空间可数时,Markov过程就是连续时间的Markov链. * 5.8 应用--数据压缩与熵 信息存储和恢复的数学理论基础是由Shannon建立的. 作为Markov过程的应用, 本节讨论这一理论的一个方面. 假定“文字”是由有限字母集S a1,…,aM 的符号所构 成, 术语“文字”不必仅仅为人类语言中的文字,它可以有 应用--数据压缩与熵 更广泛的意义.比如,DNA的基因序列,计算机的数据储存, 音乐等. 加密编码规则是一个变换: 它将一个文字序列用另一 个文字序列代替并且能够惟一地再造原来的文字序列 解 码 .为了简单起见,我们只考虑加密编码. 任何一个符号的序列代表一个单字, 符号的个数是它 的长度. 一个长度为t的单字通过加密算法被加密成长度 为s的代码单字.为了压缩文字,我们就要用短的单