随机过程Ch5连续时间马尔可夫链new.pptVIP

第五章 连续时间马尔可夫链 I 马尔可夫链 5 4 3 2 1 0 1 2 3 4 5 T 5.1 连续时间马尔可夫链 定义5.1 设随机过程{X(t)，t ?0 }，状态空间I={0,1,2,?}，若对任意 0?t1 t2?tn+1及非负整数i1,i2, ?,in+1 ，有 P{X(tn+1)=in+1|X(t1)=i1, X(t2)=i2,?, X(tn)=in} =P{X(tn+1)=in+1|X(tn)=in}， 则称{X(t)，t ?0 }为连续时间马尔可夫链。 转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率 pij(s,t)= P{X(s+t)=j|X(s)=i} 5.1 连续时间马尔可夫链 定义5.2 齐次转移概率 pij(s,t)=pij(t) (与起始时刻s无关，只与时间间隔t有关) 转移概率矩阵P(t)=(pij(t)) ，i,j?I，t ?0 性质：若?i为过程在状态转移之前停留在状态i的