随机过程第五章连续时间的马尔可夫链.pdfVIP

第五章 连续时间的马尔可夫链 5.1 连续时间的马尔可夫链 考虑取非负整数值的连续时间随机过程 { X (t ), t 0}. 定义 5.1 设随机过程 { X (t ), t 0}. ,状态空间 I { in , n 0} ,若对任意 0 t t ... t 及 i , i ,...i I ,有 1 2 n 1 1 2 n 1 P{ X (t ) i X (t ) i , X (t ) i ,...X (t ) i } n 1 n 1 1 1 2 2 n n = P{ X (t ) i X (t ) i } (5.1) n 1 n 1 n n 则称 { X (t ),t 0}. 为连续时间马尔可夫链 . 由定义知 ,连续时间马尔可夫链是具有马尔可夫性的随机过程 ,即过程在已知 现在时刻 t n 及一切过去时刻所处状态的条件下 ,将来时刻 t n 1 的状态只依赖于现 在状态而与过去无关 . 记(5.1)式条件概率一般形式为 P{ X (s t ) j X (s) i} p (s,t ) (5.2) ij 它表示系统在 s 时刻处于状态 i,经过时间 t 后转移到状态 j 的转移概率 . 定义 5.2 若(5.2)式的转移概率与 s 无关 ,则称连续时间马尔可夫链具有平稳的 或齐次的转移概率 ,此时转移概率简记为 pij (s,t ) pij (t ), 其转移概率矩阵简记为 P(t ) ( pij (t )), (i , j I ,t 0). 以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率 .简 称为齐次马尔可夫过程 . 假设在某时刻 ,比如说时刻 0,马尔可夫链进入状态 i,而且接下来的 s 个单位时间 单位中过程未离开状态 i,( 即未发生转移 ), 问随后的 t 个单位时间中过程仍不离开 状态 i 的概率是多少呢 ?由马尔可夫我们知道 ,过程在时刻 s 处于状态 i 条件下 ,在 区间 [s,s+t]中仍然处于 i 的概率正是它处于 i 至少 t 个单位的无条件概率 ..若记 h 为记过程在转移到另一个状态之前停留在状态 i 的时间 ,则对一切 s,t 0 有 i