随机过程ch5-连续时间的马尔科夫链.doc

第五章 连续时间马尔可夫链 I 马尔可夫链 5 4 3 2 1 0 1 2 3 4 5 T 2 5.1 连续时间马尔可夫链 定义5.1 设随机过程{X(t)，t ?0 }，状态 空间I={0,1,2,?}，若对任意0?t1 t2?tn+1 及非负整数i1,i2, ?,in +1 ? I，有 P{X(tn+1)=in+1|X(t1)=i1, X(t2)=i2,?, X(tn)=in} =P{X(tn+1)=in+1|X(tn)=in}， 则称{X(t)，t ?0 }为连续时间马尔可夫链。 转移概率：在s时刻处于状态i，经过时间 t后转移到状态j的概率 pij(s,t)= P{X(s+t)=j|X(s)=i} 3 5.1 连续时间马尔可夫链 定义5.2 齐次转移概率 pij(s,t)=pij(t) (与起始时刻s无关，只与时间间隔t有关) ? 转移概率矩阵P(t)=(pij(t)) ，i,j?I，t ?0 ，称为 齐次马尔科夫过程 性质：若? i为过程在状态转移之前停留在状态 i的时间，则对s, t?0有 P{ s t | s} P{ t} ? i ? ? ? ? ? ? ? (1) i i (2) ? i 服从指数分布 4 5.1 连续时间马尔可夫链 证(1) 事实上 i i i i t 0 ? s s+t i { s} {X(u) i,0 u s | X(0) i} ?i ?