第五章连续时间的Markov链.pdf

第五章《连续时间的马尔可夫链》 第五章 连续时间的马尔可夫链 第四章我们讨论了时间和状态都是离散的 M arkov 链，本章我们研究的是时间连续、 状 态离散的 M arkov 过程，即连续时间的 M arkov 链 . 连续时间的 M arkov 链可以理解为一个 做如下运动的随机过程：它以一个离散时间 M arkov 链的方式从一个状态转移到另一状态， 在两次转移之间以指数分布在前一状态停留 . 这个指数分布只与过程现在的状态有关， 与过 去的状态无关（具有无记忆性） ，但与将来转移到的状态独立 . 5.1 连续时间马尔可夫链的基本概念 定义 5.1 设随机过程 { X ( t ), t 0} ，状 态空间 I { i n , n 1} ，若 对任意 的正 整数 0 t 1 t 2 t n 1 及任意的非负整数 i1 , i 2 , , i n 1 I ，条件概率满足 P X (t ) i | X (t ) i , X (t ) i , , X (t ) i n 1 n 1 1 1 2 2 n n P X (t n 1 ) i n 1 | X (t n ) in （5.1 ） 则称 { X ( t ), t 0} 为 连续时间的 M arkov 链 . 由定义知，连续时间的 M arkov 链是具有 M arkov 性（或称无后效性）的随机过程，它 的直观意义是：过程在已知现在时刻 t n 及一切过去时刻所处状态的条件下，将来时刻 t n 1 的 状态只依赖于现在的状态而与过去的状态无关 . 记 (5.1) 式条件概率的一般形式为 P { X ( s t ) j | X ( s ) i} p ij ( s , t ) （5.2） 它表示系统在 s 时刻处于状态 i ，经过时间 t 后在时刻 s t 转移到状态 j 的转移概率， 通常称它为 转移概率函数 .一般地，它不仅与 t 有关，还与 s 有关 . 定义 5.2 若(5.2) 式的转移概率函数与 s 无关，则称连续时间 M arkov 链具有平稳的转移 概率函数，称该 M arkov 链为 连续时间的齐次（或时齐） M arkov 链 . 此时转移概率函数简 记为 pij ( s , t ) pij ( t ) .相应地，转移概率矩阵简记为 P ( t ) ( p ij (t )), ( i , j I ,t 0) . 若状态空间 I {0,1, 2, } ，则有 p (t ) p t( ) p t ( ) . . . 0 0 0 1 0 2