第三章几种重要随机过程.ppt

4.6.2 马尔可夫链 4.6.2.1 马尔可夫链的概念 马尔可夫链的状态转移和状态转移矩阵： n1 n2 n1 n2 n1 n2 n3 C-K 4.6.2 马尔可夫链 4.6.2.1 马尔可夫链的概念 马尔可夫链的转移概率及其矩阵： 马尔可夫链 {X(n), n=0,1,2,…}在时刻m处于状态i的条件下，在时刻m+k处于状态j的条件概率，称为马尔可夫链在m时刻的k步转移概率，记为 pij (m,k)=P{X(m+k) = j | X(m) = i} 当k=1时， pij =pij (m,1)=P{X(m+1) = j | X(m) = i} 称为马尔可夫链在m时刻的一步转移概率，简称转移概率。 k为转移步长。显然， 0≤ pij (m,k) ≤ 1 。 4.6.2 马尔可夫链 4.6.2.1 马尔可夫链的概念 马尔可夫链的转移概率及其矩阵： 对于有限状态空间E={1,2,…,N},由马尔可夫链 {X(n), n=0,1,2,…}在时刻m的k步转移概率pij (m,k)形成的下列矩阵 称为马尔可夫链在m时刻的k步转移矩阵。 当k=1时，称为一步转移矩阵，简称转移矩阵。 4.6.2 马尔可夫链 4.6.2.2 齐次马尔可夫链 齐次马尔可夫链及其转移概率： 如果马尔可夫链 {X(n), n=0,1,2,…}的转移概率pij (m,k)与m无关，即 pij (m,k)=P{X(m+k) = j | X(m) = i}= pij (k) 则称为齐次马尔可夫链, pij (k)称为k步转移概率。 一步转移概率简写为 pij = pij (1) =P{X(m+1) = j | X(m) = i} 4.6.2 马尔可夫链 4.6.2.2 齐次马尔可夫链 齐次马尔可夫链转移矩阵： 对于有限状态空间E={1,2,…,N},齐次马尔可夫链 {X(n), n=0,1,2,…} 的k步转移矩阵为 且 0≤pij (k) ≤ 1， ——随机矩阵。 随机矩阵定义： 若 ,且满足 则称矩阵 为随机矩阵。 概率p 概率q i=1 2 3 4 5 4.6.2 马尔可夫链 4.6.2.2 齐次马尔可夫链:转移矩阵 例1：直线上带两个吸收壁的随机游动 状态空间E={1,2,3,4,5}, 1和5为吸收壁状态。 转移概率：当i=1,5时，p11=1, p1j=0(j≠1), p55=1, p5j=0(j≠5) 当i=2,3,4时， pi,i+1=p, pi,i-1=q, pi,j=0 (j≠i-1,i+1) 所以一步转移矩阵为 4.6.2 马尔可夫链 4.6.2.2 齐次马尔可夫链:转移矩阵 例2：直线上带两个弹性壁的随机游动 状态空间E={1,2,3,4,5}, 1和5为弹性壁状态。当质点处于2、3、4位置时，下一时刻向左和向右移动的概率分别为q和p；当处于1位置时，下一时刻留在原位的概率为q，右移一格的概率为p；当处于5位置时，下一时刻留在原位的概率为p ，左移一格的概率为q 。 转移概率为： 转移矩阵为： p11=q, p12=p, p1j=0(j=3,4,5), p55=p, p54=q, p5j=0(j=1,2,3) 当i=2,3,4时， pi,i+1=p, pi,i-1=q, pi,j=0 (j≠i-1,i+1) 4.6.2 马尔可夫链 4.6.2.2 齐次马尔可夫链 齐次马尔可夫链转移概率之间的关系： 齐次马尔可夫链{X(n), n=0,1,2,…} 的转移概率满足切普曼－柯尔莫哥洛夫方程： 4.6.2 马尔可夫链 4.6.2.2 齐次马尔可夫链 齐次马尔可夫链转移概率之间的关系： 齐次马尔可夫链的切普曼－柯尔莫哥洛夫方程写成矩阵形式： P(k+l)=P(k)P(l) 当k=1, l=1时， P(2)=P(1)P(1)=[P(1)]2 当k=2, l=1时， P(3)=P(2)P(1)=[P(1)]3 一般地有 P(n)= [P(1)]n = Pn 可见，n步转移概率（矩阵）等于n个一步转移概率（矩阵）的乘积。 4.6.2 马尔可夫链 4.6.2.2 齐次马尔可夫链：转移概率 例：天气预报问题。设明天是否有雨，仅与今天的天气有关，而与过去的天气无关。今天下雨明天也下雨的概率为p,今天无雨明天有雨的概率为q