随机过程4-3时间连续状态离散的马尔科夫过程教程文件.ppt

故 如果在 t 时刻队长为 , 而在 没有 顾客到来，正在接受服务的顾客没有服务完毕，那么在 时刻仍有 i 个顾客。因而概率 故 同理，因为 所以 综合上面计算结果，并利用速率矩阵的性质，可得 第4章 马尔科夫过程 第*页 §4.3 时间连续状态离散的马尔科夫过程 一、定义、转移概率函数 设离散状态空间为 或 当然，根据实际需要，具有无限多个状态的离散状态空间 看时亦可取为 或 有 限多个状态的空间有时取为 定义 设时间连续状态离散的随机过程 的状态空间为E，若对于任意整数 ，任意 m 个时刻 ，任意正数 s 以及任意 ，满足 则称 为马尔科夫过程。 在（3.1）式中，如果 表示现在时刻， 表 示过去时刻， 表示将来时刻，那么此式表明过程在将 来 时刻的状态，仅依赖现在 时刻所处的状态，而 与过去时刻 过程的状态无关。（3.1）式给 出了无后效性的表达式。 （3.1） （3.1） （3.1）式中右边条件概率的形式为 称之为马尔科夫过程在 t 时刻经 s 时间的转移概率函数。 记为 。转移概率函数表示已知 t 时刻处于状态 i， 经时间 s 后变成处于状态 j 的概率. 转移概率函数 不依赖于 t 的马尔科夫过程，称 为时齐马尔科夫过程。 此时，转移概率函数可记为 ，即 时齐马尔科夫过程的状态转移概率函数，仅与转移出发的 状态 i、转移所经过的时间 s、转移到达的状态 j 有关，而与 转移开始的时刻 t 无关。 （3.2） 以后我们只讨论时齐马尔科夫过程。 根据条件概率性质。转移概率函数具有下列两条性质： （有限多个或无限多个） 通常，我们规定 转移概率函数之间具有下列关系式 对 （3.4） 此称为切普曼-柯尔莫洛夫（Chapman-Kolmogorov)方程。 这个方程式的直观意义是：由 i 状态出发经 s+t 时间到达 j 状态，必须先经 s 时间到达任意 r 状态，然后再经 t 时间 由 r 状态转移到 j 状态。此方程的证明方法类似于马尔科夫 链中切普曼一柯尔莫哥洛夫方程的证明方法，只要把那里 的m，k, l 分别换成 即可。 二、柯尔莫哥洛夫向前和向后方程 设 是状态有限（即具有有限多个状态） 的马尔科夫过程， ?（3.10) 定义 设状态有限的马尔科夫过程 X(t) 的转移概率函数 为 ，若 成立，则称此过程为随机连续马尔科夫过程。 (3.10)式表示：当 t 很小时，过程由状态 i 转移到状态 i 的 概率接近于1，而转移到状态 j 的概率接近于零；亦 即经过很短时间系统的状态几乎是不变的。 在马尔科夫过程理论中，由条件（3.10）可以证明极限 （3.11） 存在且有限。由（3.3）式与导数的定义可得 。 这里的 称为马尔科夫过程的速率函数。它刻划马尔科夫过 程的转移概率函数在零时刻对时间的变化率。 称矩阵 为马尔科夫过 程的速率矩阵， 简称 Q 矩阵。 速率函数具有下列性质： 事实上，性质 (1)(2) 根据 的定义容易得到. （3.11） 性质 (3) 的证明为 定理1 设随机连续状态有限马尔科夫过程的转移概率函数 为 ，速率函数为 ，则有 其中(3.12）式称为柯尔莫哥洛夫（Kolmogrov）向前方程， （3.13）式称为柯尔莫哥洛夫（Kolmogrov