第五章 连续时间的Markov链.docVIP

第五章 连续时间的马尔可夫链 第四章我们讨论了时间和状态都是离散的链，本章我们研究的是时间连续、状态离散的过程，即连续时间的链. 连续时间的链可以理解为一个做如下运动的随机过程：它以一个离散时间链的方式从一个状态转移到另一状态，在两次转移之间以指数分布在前一状态停留. 这个指数分布只与过程现在的状态有关，与过去的状态无关（具有无记忆性），但与将来转移到的状态独立. 5.1 连续时间马尔可夫链的基本概念 定义 5.1 设随机过程，状态空间，若对任意的正整数及任意的非负整数，条件概率满足 （5.1） 则称为连续时间的链. 由定义知，连续时间的链是具有性（或称无后效性）的随机过程，它的直观意义是：过程在已知现在时刻及一切过去时刻所处状态的条件下，将来时刻的状态只依赖于现在的状态而与过去的状态无关. 记(5.1)式条件概率的一般形式为 （5.2） 它表示系统在时刻处于状态，经过时间后在时刻转移到状态的转移概率，通常称它为转移概率函数.一般地，它不仅与有关，还与有关. 定义 5.2 若(5.2)式的转移概率函数与无关，则称连续时间链具有平稳的转移概率函数，称该链为连续时间的齐次（或时齐）链. 此时转移概率函数简记为.相应地，转移概率矩阵简记为. 若状态空间，则有 （5.3） 假设在某时刻，比如说时刻0，链进入状态，在接下来的个单位时间内过程未离开状态（即未发生转移），我们要讨论的问题是在随后的个单位时间中过程仍不离开状态的概率是多少？由性知，过程在时刻处于状态的条件下，在区间中仍处于状态的概率正是它处在状态至少个单位时间的（无条件）概率，若记为过程在转移到另一状态之前停留在状态的时间，则对一切有 可见，随机变量具有无记忆性，因此，服从指数分布. 因此，一个连续时间的链，每当它进入状态，具有如下性质： 在转移到另一个状态之前处在状态的时间服从参数为的指数分布； 当过程离开状态时，接着以概率进入状态,且 . 当时，称状态是瞬时状态，因为过程一旦进入状态就离开；若，称状态为吸收状态. 因为过程一旦进入永远不再离开.尽管瞬时状态在理论上是可能的，但我们以后还是假设一切，.因此，考虑连续时间链，可以按照离散时间的链从一个状态转移到另个状态，但在转移到另一状态之前，它在各个状态停留的时间服从指数分布，而且在状态停留的时间与下一个状态必须是相互独立的随机变量. 定理5.1 齐次链的转移概率函数具有下列性质： （1）； （2）； （3）. （2）式表明转移概率矩阵中任一元素行和为1；（3）式称为连续时间齐次链的方程，简称方程. 证明 （1）和（2）由概率定义及的定义易知，下面只证明（3）式 由全概率公式和性可得 对于转移概率函数，我们约定 （5.4） 称上式为连续性条件或正则性条件.连续性条件保证转移概率函数在边界点处右连续.它的直观意义在于：当系统经过很短时间，其状态几乎不变，也就是认为系统刚进入一个状态又立刻离开这个状态是不可能的. 定义 5.3 连续时间链在初始时刻（即零时刻）取各状态的概率 （5.5） 称为它的初始分布.在时刻取各状态的概率 称为它在时刻的绝对（概率）分布. 初始分布和绝对分布都是概率分布，对于任意，总满足： （1）； （2）. 利用全概率公式容易得到 （5.6） （5.6）式表明：连续时间链的绝对概率分布完全由其初始分布和转移概率函数所确定.下面举一个简单的例子说明转移概率函数的计算方法. 例5.1 证明过程是连续时间的齐次链. 证明 先证明过程具有性. 由过程的独立增量性和，对任意，有 = 另一方面，因为 = = 因此 = 即过程是连续时间的链. 再证齐次性. 当时，由过程的定义，得到 当时，由于过程的增量只取非负整数值，因此，，故 即转移概率函数只与有关，因此，过程具有齐次性.容易看出，固定时，是关于的连续可微函数。 5.2 微分方程 对于离散时间齐次链，如果已知其一步转移概率矩阵，则步转移概率矩阵由一步转移概率矩阵的次方即可求得.但是，对于连续时间齐次链，由于“步长”的概念失效，转移概率函数的求法较为复杂，一般通过解微分方程求出转移概率函数.为此，我们首先讨论的可微性及所满足的微分方程. 定理5.2 设齐次链