随机过程 5.1.pptVIP

5 连续时间的马尔可夫链 内容提要 连续时间的马尔可夫链 柯尔莫哥洛夫微分方程 生灭过程 连续时间的马尔可夫链 第四章讨论了时间和状态都离散的马尔可夫过程，本章研究另一种情况的马尔可夫过程。即时间连续状态离散的马尔可夫过程，称连续时间的马尔可夫链，也称纯不连续马尔可夫链（过程）。 5.1 连续时间的马尔可夫链 定义注解 它表示系统在s时刻处于状态i，经过时间t后转移到状态j的概率。 齐次连续时间马尔可夫链 停留时间的分布 思考：假设在某时刻，比如说时刻0，马尔可夫链进入状态i，而且在接下来的s个单位时间过程未离开状态i（即未发生转移），问在随后的t个单位时间中过程仍不离开状态i的概率？ 分析：由马氏性知，在s处于i条件下，在区间[s,s+t]中仍处于i的概率正是它处于i至少t个时间的（无条件）概率。 停留时间的分布 记τi为过程在转移到另一个状态之前停留在状态i的时间，则对于一切的s，t≥0，有 可见， τi具有无记忆性，因此τ i服从指数分布。 连续时间马尔可夫链性质 连续时间马尔可夫链性质 n 步转移概率 的性质 转移概率的性质 正则性条件 初始概率和绝对概率 绝对概率的性质 绝对概率的性质 * * [定义] 设随机过程 { X(t) , t≥0 }， 状态空间I={in,n ≥0}若对任意0≤t1t2…tn+1和任意的 i1, …, in+1 ?I ，有 则称 { X(t) , t ≥0 } 为连续时间马尔可夫链。 注:(1)连续时间马尔可夫链是具有马尔可夫性的随机过程，即将来的状态只依赖于现在的状态而与过去无关。 （2）记定义中条件概率的一般形式为： 其中k∈I [定义] 若Pij(s,t)与s无关，则称连续时间马尔可夫链具有平稳的或齐次的转移概率，简记为： Pij(s,t)= Pij(t) 转移概率矩阵简记为P(t)= (Pij(t)), i, j ?I ,t≥0 注：以下只讨论齐次的连续时间马尔可夫链 一个连续时间马尔可夫链，每当它进入状态i，具有如下性质： （1）在转移到另一状态之前处于状态i的时间服从参数为υi的指数分布。 （2）当过程离开状态i时，接着以概率Pij进入状态j， （1）（2）可以构造一个马尔可夫链。 当υi=∞时，称状态i为瞬时状态。（过程一旦进入此状态立即就离开） 当υi=0时，称状态i为吸收状态。（过程一旦进入此状态就永远不再离开了） 注：考虑的连续时间马尔可夫链一般不存在瞬时状态。即0≤υi ∞ [定理] 齐次马尔可夫过程的转移概率具有下列性质： 其中（3）式即为连续时间马尔可夫链的C-K方程。 [证明](1)、（2）由概率定义及转移概率的定义可知。下证（3）式。利用全概率公式及马尔可夫性有 对Pij(t)，一般假设它满足 称上式为正则性条件。 正则性条件说明：过程刚进入某状态不可能立即又跳跃到另一状态，也即是说一个系统要在有限的时间内不可能发生无限多次跳跃，从而消耗无穷多的能量这是不可能的。 初始概率： 绝对概率： 初始分布： 绝对分布： [定理] 齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：