随机过程ch5-连续时间的马尔科夫链.pdfVIP

第五章 连续时间马尔可夫链 I 马尔可夫链 5 4 3 2 1 0 1 2 3 4 5 T 2 5.1 连续时间马尔可夫链 定义5.1 设随机过程{X (t)，t 0 }，状态 空间I={0,1,2,}，若对任意0t t t 1 2 n+1 及非负整数i ,i , ,i I ，有 1 2 n+1 P {X (t )=i |X(t )=i , X (t )=i ,, X (t )=i } n+1 n+1 1 1 2 2 n n =P {X (t )=i |X(t )=i }， n+1 n+1 n n 则称{X (t)，t 0 }为连续时间马尔可夫链。 转移概率：在s时刻处于状态i，经过时间 t后转移到状态j 的概率 p ij(s,t)= P {X (s+t)=j |X(s)=i} 3 5.1 连续时间马尔可夫链 定义5.2 齐次转移概率 p ij(s,t)=p ij(t) (与起始时刻s无关，只与时间间隔t有关) • 转移概率矩阵P(t)=(p ij(t)) ，i,j I ，t 0 ，称为 齐次马尔科夫过程 性质：若 为过程在状态转移之前停留在状态 i i 的时间，则对s, t0有 (1) P { s t | s} P { t} i i i (2)  服从指数分布 i 4 5.1 连续时间马尔可夫链 证(1) 事实上 i i i i t 0 s s+t i { s} {X (u) i,0  u s | X (0) i} i {  s t} {X (u) i,0  u  s, i X (v) i, s v  s t | X (0) i} 5 5.1 连续时间马尔可夫链 P { s t | s }