5.7 连续时间Markov链.pptVIP

第三节 连续时间Markov链 5.7.1 连续时间Markov链 5.7.2 转移概率 和Kolmogrov微分方程 * 复习： Markov 链是离散时间参数、离散状态的且满足Markov性的随机过程. 注：Markov链的状态空间是离散的，时间参数集也是离散的. 状态空间的离散性保持不变, 但时间是连续变化的. 即连续时间的Markov链. Kolmogrov方程及生灭过程. 【教学内容】 连续时间的Markov链的定义和性质、 定义 注: (1)式反映了Markov性，即考虑未来时刻t+s的状态，它只与时刻s的状态有关，而与时刻s之前的无关. 定义中的条件概率 在时刻s处在状态i,经过时间t后转移到j的 转移概率，并 表示过程 为 转移概率矩阵. 我们先看： 时齐性 定义：称连续Markov链是时齐的， 记忆性”，即服从指数分布. 注：我们只讨论时齐的连续时间Markov链，简称连续时间Markov链. 我们学习连续时间Markov链，不仅要考虑它在某一时刻将处于什么状态， 同时还要关心它在离开这个状态之前 会停留多长时间， 由Markov性，此“停留时间”具有“无 证明：只需证 因为 则 上定理说明：连续时间Markov链在某个状态的停留时间 服从指数分布. 连续时间Markov链的另一定义：具有如下两条性质的 随机过程: 注: 直观意义： 由上面的