连续时间Markov链.pptVIP

第三节 连续时间Markov链 5.7.1 连续时间Markov链 5.7.2 转移概率 和Kolmogrov微分方程 * 复习： Markov 链是离散时间参数、离散状态的且满足Markov性的随机过程. 注：Markov链的状态空间是离散的，时间参数集也是离散的. 状态空间的离散性保持不变, 但时间是连续变化的. 即连续时间的Markov链. Kolmogrov方程及生灭过程. 【教学内容】 连续时间的Markov链的定义和性质、 定义 注: (1)式反映了Markov性，即考虑未来时刻t+s的状态，它只与时刻s的状态有关，而与时刻s之前的无关. 定义中的条件概率 在时刻s处在状态i,经过时间t后转移到j的 转移概率，并 表示过程 为 转移概率矩阵. 我们先看： 时齐性 定义：称连续Markov链是时齐的， 记忆性”，即服从指数分布. 注：我们只讨论时齐的连续时间Markov链，简称连续时间Markov链. 我们学习连续时间Markov链，不仅要考虑它在某一时刻将处于什么状态， 同时还要关心它在离开这个状态之前 会停留多长时间， 由Markov性，此“停留时间”具有“无 证明：只需证 因为 则 上定理说明：连续时间Markov链在某个状态的停留时间 服从指数分布. 连续时间Markov链的另一定义：具有如下两条性质的 随机过程: 注: 直观意义： 由上面的“注”知，当连续时间Markov链不存在瞬过态时, 问题：该链在有限长的时间内 转移次数如何呢？ 正则性 定义 称一个连续时间Markov链是正则的， 若以概率1 在任意有限长的时间内转移的次数是有限的. 注: 今后我们所考虑的Markov链都满足正则性条件. 由连续性条件，知 例题： (1) Poisson 过程； (2) 生灭过程. 回顾：对时齐的离散时间Markov链， 于连续时间Markov链而言， 转移概率 又会怎样呢？ 那么对 一般比较复杂. 现在，我们先介绍 的一些性质. 定理: 时齐的连续时间Markov链的转移概率 满足 以下性质： 注: (3) 称为连续时间Markov链的C-K方程, 其矩阵形式： 证明 证明： (1)和(2)是很显然的. 我们只需证(3). 上面的定理给出 的概率性质, 接下来我们讨论它的 分析性质，即把 看作是t的函数，再考虑这个函数的性质. Go on 证明： 由上定理中的(3), 知 又由于 所以， 定理: 注: (1) 由定理易知： 定理: (2) 称作从状态i转移到j的转移概率. 推论: 对有限状态的时齐连续时间的Markov链，有 证明： 由前面的一个定理，知 所以， 注: 对无限状态的情况，一般有 设S={1,2,…,n,…}, 记 称为连续时间Markov链的Q-矩阵. 称该矩阵为保守的. 补充说明: 当矩阵元素满足 时， Q-矩阵就是转移矩阵的密度矩阵. 判断: 有限状态的时齐连续时间的Markov链的Q-矩 阵为保守的. (2)保守Q-矩阵的每一行元素之和为0. √ √ 根据上面两个定理及推论，导出重要的微分方程，即 定理 有 注: 向后方程的矩阵形式 ： 向前方程的矩阵形式 ： Kolmogorov 微分方程. 无论是Markov链还是连续时间Markov链，他们的状态 空间都是离散的， 现在我们进一步学习状态空间是连续 的，即一般的Markov过程. 定义