第五章连续时间马尔可夫链.pptVIP

第五章：连续时间的马尔可夫链 ? 连续时间马尔可夫链 定义 ? 无穷小转移概率矩阵 ? 柯尔莫哥洛夫 向前方程 与 向后方程 ? 连续时间马尔可夫链的 应用 定义 5.1 设随机过程 {X(t),t≥0} ，状态空间 I={i n , n≥0} ，若 对任意 0≤t 1 t 2 … tn ＋ 1 及 i 1 ,i 2 ,…,i n+1 ∈ I ，有 } ) ( | ) ( { } ) ( , , ) ( , ) ( | ) ( { 1 1 2 2 1 1 1 1 n n n n n n n n i t X i t X P i t X i t X i t X i t X P ? ? ? ? ? ? ? ? ? ? ? ? 则称 {X(t),t≥0} 为 连续时间马尔可夫链 。 上式中条件概率可以写成 转移概率 的形式 ) , ( } ) ( | ) ( { t s p i s X j t s X P ij ? ? ? ? 定义： 若 p ij (s,t) 的转移概率与 s 无关，则称连续时 间马尔可夫链具有 平稳的或齐次 的转移概率， 此时转移概率简记为 其 转移概率矩阵 简记为 ) ( ) , ( t p t s p ij ij ? )) ( ( ) ( t p t ij ? P 时间轴 0 s s+t 状态 i 状态 i 持续时间 τ i } { } | { t P s t s P i i i ? ? ? ? ? ? ? ? 在 0 时刻马尔可夫链进入状态 i ，而且在接 下来的 s 个单位时间中过程未离开状态 i ，问在 随后的 t 个单位时间中过程仍不离开状态 i 的概 率是多少？ 无记忆性 一个连续时间的马尔可夫链，每当它进入状态 i ， 具有如下性质： 1. 在转移到另一状态之前处于状态 i 的时间服从参 数为 v i 的 指数分布 ； 2. 当过程离开状态 i 时，接着以概率 p ij 进入状态 j ， 1 ? ? ? i j ij p 当 v i =∞ 时，称状态 i 为 瞬时状态 ； 当 v i ＝ 0 时，称状态 i 为 吸收状态 。 x 0 ( ) 0 x0 x e f x ? ? ? ? ? ? ? ? 对于指数分布的随机变量 X { | } { } ? P x s t x s P x t ? ? ? ? ? 1 x 0 ( ) 0 x 0 x e F x ? ? ? ? ? ? ? ? ? } { } | { t P s t s P i i i ? ? ? ? ? ? ? ? 定理 5.1 齐次马尔可夫过程的转移概率具有下列性质： 1. 2. 3. 证明 0 ) ( ? t p ij 1 ) ( ? ? ? I j ij t p ? ? ? ? I k kj ik ij s p t p s t p ) ( ) ( ) ( 正则性条件 0 1 , lim ( ) 0, ij t i j p t i j ? ? ? ? ? ? ? ( ) { ( ) | (0) } { ( ) , ( ) | (0) } { ( ) | (0) } { ( ) | ( ) } ( ) ( ) ij k I k I ik kj k I P t s P X t s j X i P X t s j X t k X i P X t k X i P X t s j X t k P t P s ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 证明 : 定义 5.3 对于任一 t≥0 ，记 I j j X P p p j t X P t p j j j ? ? ? ? ? ? }, ) 0 ( { ) 0 ( }, ) ( { ) ( 为 绝对概率 和 初始概率 。 分别称 {p j (t),j ∈ I} 和 {p j ,j ∈ I} 为齐次马尔可夫 过程的 绝对概率分布 和 初始概率分布 。 定理 5.2 齐次马尔可夫过程的绝对概率及有限维概率分 布具有下列性质： 1. 2. 3. 4. 5. 0 ) ( ? t p j 1 ) ( ? ? ? I j j t p ? ? ? I i ij i j t p p t p ) ( ) ( ? ? ? ? I i ij i j p t p t