随机过程4-3时间连续状态离散的马尔科夫过程.PPT

故 如果在 t 时刻队长为 , 而在 没有 顾客到来，正在接受服务的顾客没有服务完毕，那么在 时刻仍有 i 个顾客。因而概率 故 同理，因为 所以 综合上面计算结果，并利用速率矩阵的性质，可得 第4章 马尔科夫过程 第*页 §4.3 时间连续状态离散的马尔科夫过程 一、定义、转移概率函数 设离散状态空间为 或 当然，根据实际需要，具有无限多个状态的离散状态空间 看时亦可取为 或 有 限多个状态的空间有时取为 定义 设时间连续状态离散的随机过程 的状态空间为E，若对于任意整数 ，任意 m 个时刻 ，任意正数 s 以及任意 ，满足 则称 为马尔科夫过程。 在（3.1）式中，如果 表示现在时刻， 表 示过去时刻， 表示将来时刻，那么此式表明过程在将 来 时刻的状态，仅依赖现在 时刻所处的状态，而 与过去时刻 过程的状态无关。（3.1）式给 出了无后效性的表达式。 （3.1） （3.1） （3.1）式中右边条件概率的形式为 称之为马尔科夫过程在 t 时刻经 s 时间的转移概率函数。 记为 。转移概率函数表示已知 t 时刻处于状态 i， 经时间 s 后变成处于状态 j 的概率. 转移概率函数 不依赖于 t 的马尔科夫过程，称 为时齐马尔科夫过程。 此时，转移概率函数可记为 ，即 时齐马尔科夫过程的状态转移概率函数，仅与转移出发的 状态 i、转移所经过的时间 s、转移到达的状态 j 有关，而与 转移开始的时刻 t 无关。 （3.2） 以后我们只讨论时齐马尔科夫过程。 根据条件概率性质。转移概率函数具有下列两条性质： （有限多个或无限多个） 通常，我们规定 转移概率函数之间具有下列关系式 对 （3.4） 此称为切普曼-柯尔莫洛夫（Chapman-Kolmogorov)方程。 这个方程式的直观意义是：由 i 状态出发经 s+t 时间到达 j 状态，必须先经 s 时间到达任意 r 状态，然后再经 t 时间 由 r 状态转移到 j 状态。此方程的证明方法类似于马尔科夫 链中切普曼一柯尔莫哥洛夫方程的证明方法，只要把那里 的m，k, l 分别换成 即可。 马尔科夫过程在初始时刻（即零时刻〕取各状态的概率 分布 (3.5) 称为它的初始（概率）分布。 显然有 (3.6) 特别地，当马尔科夫过程在零时刻由固定的状态 出 发，此时 马尔科夫过程在 t 时刻取 各状态的概率分布 (3.7) 称在 t 时刻的绝对概率分布。 (3.8) 显然有 (3.7) 利用全概率公式可以得到 在马尔科夫链中，n 步转移概率可以由一步转移概率算 得。而一步转移概率可用直观方法求得。在马尔科夫过程 中，转移概率函数 可以通过解微分方程获得。为此 首先需要导出转移概率函数所满足的微分方程组。 由此知绝对概率完全被初始概率分布和转移概率函数所确定。 (3.9) 二、柯尔莫哥洛夫向前和向后方程 设 是状态有限（即具有有限多个状态） 的马尔科夫过程， ?（3.10) 定义 设状态有限的马尔科夫过程 X(t) 的转移概率函数 为 ，若 成立，则称此过程为随机连续马尔科夫过程。 (3.10)式表示：当 t 很小时，过程由状态 i 转移到状态 i 的 概率接近于1，而转移到状态 j