2014连续时间马尔科夫链.pdf

随机过程 随机过程 Stochastic Processes Stochastic Processes 李冬梅 李冬梅 Chapter 4 classical examples of continuous markov chains Here we deal with a family of random variabl { ( ),0X t }t ≤ ∞ -es where the possible values of X t( ) are nonnegative integers. 定义 设随机过程{X (t),t ≥0 }，状态空间S {0,1,2,…}， 若对任意 0≤t t …t 及非负整数i ,i , …,i ，有 1 2 n+1 1 2 n+1 P {X (t ) i |X(t ) i , X (t ) i ,…, X (t ) i } n+1 n+1 1 1 2 2 n n P {X (t ) i |X(t ) i }， n+1 n+1 n n 则称{X (t),t ≥0}为连续时间马尔可夫链。 转移概率 在s时刻处于状态i，经过时间t后转移到状态j的概率 p (s,t)= P {X (s+t) j|X (s) i} ij 齐次转移概率(与起始时刻s无关，只与时间间隔t有关) p (s,t) p (t) ij ij 此时有转移概率矩阵P (t)=(p (t)) ，i,j∈S，t ≥0. ij 具有齐次转移概率的连续时间马尔科夫链为齐次马尔科夫链 定理1 齐次马尔可夫过程的转移概率具有下列性质： (1) p (t)≥0; ij p( ) t 1; (2) ∑ ij j S ∈ (3) p t ( s ) p t ( p) s=+(ij ) ∑ ik kj k S ∈ 证 由概率的定义，(1)(2)显然成立，下证(3) p t s P X t s j X i + + ( ) { ( ) | (0) ij } P X t s j X t k X+ i { ( ) , ( ) | (0)