马尔科夫链——概率与数理统计.ppt

第十一章 马尔科夫链 §11.1 马尔科夫过程及其概率分布 马尔科夫过程 若随机过程{X(t), t?T}对于任意的正整数n及 t1 t2…tn?T, 其条件分布满足 P{X (tn) xn| X(t1) = x1,…, X(tn-1) = xn-1} = P{X (tn) xn| X(tn-1) = xn-1}, xn?R 或写成 3. 转移概率 对任意得正整数n, r和0≤t1 t2 … tr m; ti , m, n+m ?T1有 其中ai? I. 则称条件概率 Pij(m,m+n) = P{Xm+n = aj |Xm = ai} 为马氏链在时刻m, 处于状态ai条件下，在时刻 m+n转移到状态aj的转移概率. 5. n步转移概率和n步转移矩阵 n步转移概率 : n步转移概率矩阵: 一步转移概率: 一步转移概率矩阵 : 例1. （0-1传输系统） 在如下图只传输数字0和1的串联系统中， 设每一级的传真率为p，误码率为q = 1-p（输出与输入数字相同的概率称为系统的传真率，相反情形称为误码率）; 设一个单位时间传输一级, X0是第一级的输入，Xn是第n级的输出(n≥1), 那么 是一随机过程. 状态空间I={0,1}，而且当Xn=i , i∈I为已知时， Xn+1所处的状态的概率分布只与Xn= i有关，而与时刻n以前所处的状态无关，所以它是一个马氏链，而且还是齐次的. 它的一步转移概率和一步转移概率矩阵分别为 和 例2 一维随机游动 设一醉汉Q在如下图点集I={1,2,3,4,5}上作随机游动，并且仅仅在1秒、2秒…等时刻发生游动.规律是：(1) 如果Q现在位于点i(1i5), 则下一时刻各以1/3的概率向左或向右移动一格，或以1/3的概率留在原处； (2) 如果Q现在位于1（或5）这点上，则下一时刻就以概率1移动2（或4）这一点上. 1和5这两点称为反射壁. 上面这种游动称为带有两个反射壁的随机游动. 若以Xn表示时刻n时Q的位置，不同的位置就是Xn的不同状态，那么{ Xn , n=0,1,2,…}是一随机过程，状态空间就是I，而且Xn=i, i ∈I为已知时， Xn+1所处的状态的概率分布只与Xn= i 有关，而与Q在时刻n以前如何达到是完全无关的，所以 { Xn , n = 0,1,2,…} 是一马氏链，而且还是齐次的，它的一步转移概率和一步转移概率矩阵分别为 如果把一这一点改为吸收壁，即是说Q一旦到达1这一点，则就永远留在点一上，相应链的转移概率矩阵只须把p中的第一横行改为（1，0，0，0，0）. 总之改变游动的概率规则，就可得到不同方式的随机游动和相应的马氏链. 随机游动的思想在数值计算方法方面有重要应用. 例3 排队模型 服务系统组成：服务员（1个）, 等候室（2人）. 服务规则：先到先服务. 假定一顾客到达系统时发现系统内已有3个顾客，则该顾客即离去. 设时间间隔Δt内，有一个顾客进入系统的概率为q，有一原来被服务的顾客离开系统的概率为p. 设当Δt充分小时，在这个时间间隔内多于一个顾客进入或离开系统实际上是不可能的. 设有无顾客来到与服务是否完毕是相互独立的. 设Xn = X(nΔt )表示时刻 nΔt 时系统内的顾客数，即系统的状态. 是一随机过程，状态空间I={0,1,2,3} ，由前例的分析, 可知它是一个齐次马氏链. 下面来计算此马氏链的一步转移概率. p00 —表示在系统内没有顾客的条件下，经Δt 后仍没有顾客的概率（此处是条件概率，以下同） p00 = 1-q. p01 —表示在系统内没有顾客的条件下，经Δt 后有一顾客进入系统的概率，p01 = q. p10 —系统内恰有一个顾客正在接受服务的条件下，经Δt 后 系统内无人的概率，它等于在Δt 间隔内顾客因服务完毕而离去 ，且无人进入系统的概率，p10 = p(1 –q) p11—系统内恰有一顾客的条件下，在Δt 间隔内，他因服务完毕而离去，而另一顾客进入系统，或者正在接受服务的顾客将继续要求服务，且无人进入系统的概率， p11 = pq + (1-p)(1-q). p12 —正在接受服务的顾客继续要求服务，且另一个顾客进入系统的概率, p12 = (1-p)q. p13—正在接受服务的