随机过程31.ppt

它的起始条件为 （六）柯尔莫哥洛夫—后退方程 当固定i、研究　　　　　　　　时，采用前进方程式是比较方便的。但是在另一种情况下感兴趣的是最后所处的状态，即固定j,研究　　　　　　　　这时应该采用另一组方程。图3-7给出了状态与时间的关系图，图中 　　　 根据切普曼-柯尔莫哥洛夫方程 由于过程的齐次性 而 上式是一方程组，称为柯尔莫哥洛夫—费勒后退方程 故 令 定义： 列矩阵　　 为 则柯尔莫哥洛夫—费勒后退方程可改写为 　　　　　　　　　　　　　　　　　　　　　　　 注： 虽然前进方程和后退方程在形式上有所不同，但两者的解却是同一的。费勒在1940年已证明两者的解是同一的。 （七）续例 例三 机器维修问题 设某机器的正常工作时间是一负指数的随机 变量，它的平均正常工作时间为　，它损坏后的修复时间也是一 负指数分布的随机变量，它的平均修复时间为　。如该机在t=0时是正常工作的，问在t=10时给机正常工作的概率如何 解 ： 它是一个“二个状态”的随机过程。设该机正常工作时的状态为0，该机因损坏而修理时的状态为1，则它的状态空间为{0,1}，在　内机器从正常工作变为损坏状态的概率为 故Q矩阵中　　　　　　　。反之如果机器处于修理状态，在　内机器从修理状态修复到正常工作的概率为 故Q矩阵中　　　　　　　即 根据后退方程有 或 则 两边积分得 由于过程是随机连续的马尔可夫过程 因此 或 故 按照题意，起始状态为　　　　即 故 例四 随机游动 ： 设在[1,5]的线段上有一质点作随机游动，此质点只能停留在1,2,3,4,5诸点。质点在任何时刻都可能发生移动，其移动的规则是：（1）若在时刻t质点位于2,3,4中的一点，则在 中以概率　　　　　向右移动一格，以概率　　　　　 向左移动一格；（2）若在时刻t质点位于1，则在　　　　中以概率　　　　　向右移动一格；（3）若在时刻t质点位于5，则以后永远停留在5（即1为不可越壁，5为吸收壁）；（4）在(t,t+?t]发生其他移动的概率均为o(?t )。求各pij(t)满足的微分方程。 解 :按照移动规则有 （1） （2） i=1 　　　　　　　　　　　　　　　　　　　　(k=3,4,5) （3） i=5 　　　　　　　　　　　　　　　　　　　　(k=1,2,3,4)　 　　　　　　　　　　　　　　　　　　　　 (k=1,2,3,4) 于是得Q矩阵 根据后退方程,便可列出一系列含有pij(t)的微分方程。 §8 当　　　时　　　　　极限研究（即　　　　　　的研究） 为了便于讨论，仅限于讨论状态空间为有限的过程，且假定所有状态都是相通的。对于可列无限个状态的过程也有相应的结果，但这时的条件和证明比较复杂。 引理 :当　　　　时　　趋于一个与初始分布　　无关的极限，其充要条件是相应的条件概率　　　对任何i趋于同一极限。 证: 已知系统的初始分布为　　　　　　　，根据全概率公式，在时刻t系统处于状态j的概率为 （１）若　　时　　趋于一个与初始分布　　无关的极限分 布　　　无关的极限分布　，即当　　　时，　　　　　　　 那么，特别选取 则 于是当　　　　时 （２）　反之，若　　　，　　　　　　　　　则对于任何一组初始概率分布　　　有 当　　　时 该引理得证。 （二）马尔可夫定理: 对于任何时间连续、状态离散且有限的马尔可夫过程，若存在一个　使得对任何　　　　有　　　　，那么极限　　　　　　存在且与i无关，　　　。 证 令 根据切普曼—柯尔莫哥洛夫方程有 因此 表明　　　是t的非增函数。 同理 这表明　　　是t的非减函数。 　　　、　　均介于0、1之间，故当　　　时，　　　和 必然存在极限值。如果这两个极限值重合，则本定理就得 到了证明。为此，必须只须证明，当　　　时 由假定已知存在　使　　　　　，　　　， 令 因 故 由于　　　可能大于　　　，也可能小于　　　，因此　　可能 为正，也可能为0，为负。现把　　　中各项分成两部分，即把 　　　分长两部分相加，用　　表示那些正的　　　求和，　　 表示那些非正的　　　求和， 故 即 又因为　　　　　，　　　　　，　　　　故对于任意的i和k有 因而 设q