马尔科夫链培训课件.ppt

第十一章 马尔科夫链11.1马尔科夫过程及其概率分布1. 马尔科夫过程若随机过程{X(t)，t?T}对于任意的正整数n及t t …t ?T,其条件分布满足1 2nP{X (t )x | X(t )=x ,…, X(t )=x }n n 1 1n-1 n-1= P{X (t )x | X(t )=x }n n n-1 n-1或写成 则称随机过程{X(t)，t?T} 为马尔科夫过程。2. 马尔科夫链时间和状态都是离散的马尔科夫过称为马尔科夫链，简称马氏链。记为{X (t)=X(n)，n=0,1,2,…}.n链的状态空间：I={a ,a ,… },a ? R1 2i 3. 条件转移概率对任意得正整数n,m和0≤t t …t m,1 2nm, t ,n+m ?T 有i1P{(X =a | X =a , X =a …, X =a ,X =a }n+m j t1 i1 t2 i2tr trm i= P{(X =a | X =a },其中a ? I。则称条件概率n+m jmiiP (m,m+n)=p{X =a |X =a }ijm+nj mi为马氏链在时刻m,处于状态a 条件下，在时刻im+n转移到状态a 的转移概率。j 4. 转移概率矩阵 由转移概率组成的矩阵称为马氏链的转移概率矩阵 。此矩阵的每一行元素之和等于1。5. 当转移概率P (m,m+n)只与i,j及时间距n有ij关时，即当6.时，称转移概率具有平稳性，同时也称此链是齐次的或时齐的。 6. N步转移概率和n步转移矩阵? 在马氏链为齐次的情形下，由上式定义的转移概率称为马氏链的n步转移概率 ，? 则矩阵为n步转移概率矩阵。? 一步转移概率? 由它们组成的一步转移概率矩阵a a1 2aj ……p11p12… p1j……a1其中p 是a ,a ,…ij12a2 p21 p22 … p2j从a 状态转移到aj… … … … …i状态的概率.pi1 pi2 … pij…ai. … … … … … 例1 （0-1传输系统）? 在如下图只传输数字0和1的串联系统中，1. 定义传真率和误码率（输出与输入数字相同的概率称为系统的传真率，相反情形称为误码率）为p，误码率为q=1-p；2. 设一个单位时间传输一级，X 是第一级的输入，X 是第n级0n的输出（n≥1），那么是一随机过程，3. 状态空间I={0,1}，而且当X =i , i∈I为已知时， X 所处的nn+1状态的概率分布只与X = 有关，而与时刻n以前所处的状态n无关，所以它是一个马氏链，而且还是齐次的它的一步转移概率和一步转移概率Xn-1X0X1X2Xn12n ? 矩阵分别为? 和0 1? 例2 一唯随机游戏 设一醉汉Q在如下图点集I={1，2，3，4，5}上作随机游动，并且仅仅在1秒、2秒…等时刻发生游动。? 规律是：(1)如果Q现在位于点I(1I5),则下一时刻各以1/3的概率向左或向右移动一格，或以1/3的概率留在原处；(2)如果Q现在位于1（或5）这点上，则下一时刻就以概率1移动2（或4）这一点上。1和5这两点称为放射壁。上面这种游动称为带有两个放射壁的随机游戏动 ? 若以X 表示时刻n时Q的位置，不同的位置就是X 的不同状nn态，那么{ X , n=0,1,2…}是一随机过程，状态空间就是I，n而且X =I, i ∈I为已知时， X 所处的状态的概率分布只与nn+1X = i 有关，而与Q在时刻n以前如何达到是完全无关的，所n以{ X , n=0,1,2…}是一马氏链，而且还是齐次的，它的一n步转移概率和一步转移概率矩阵分别为12345 12345000100123451/3 1/3 1/3 00 1/3 1/3 1/3 0000 1/3 1/3 1/30010? 如果把一这一点改为吸收壁，即是说Q一旦到达1这一点，则就永远留在点一上，相应链的转移概率矩阵只须把p中的第一横行改为（1，0，0，0，0）。总之改变游动的概率规则，就可得到不同方式的随机游动和相应的马式链。? 随机游动的思想在数值计算方法方面有重要应用。 例3 ：排队模型? 服务系统组成：服务员（1个）和等候室（2人）组成，? 服务规则：先到先服务。假定一顾客到达系统时发现系统内已有3个顾客，则该顾客即离去，1. 设时间间隔Δt内，有一个顾客进入系统的概率为q，有被服务的顾客离开系统的概率为p，2. 设当Δt充分小时，多于一个顾客进入或离开系统实际上是不可能的，3. 设有无顾客来到与服务是否完毕是相互独立。系 统等候室服务台随机到达者离去者 ? 设X X（n Δt ）表示时刻n Δt 时系统内的顾客数，即系统n的状态，是一随机过程，状态空间I={0,1,2,3} ，可知它是一个齐次马氏链。下面来计算此马氏链的一步转移概率。? P 表示在系统内没有顾客的条件下，经