随机过程7-2wqh.ppt

（2）由题意，计算机在前一段（15分钟）的状态为0，意味着初始分布为 计算机能连续3个时段正常工作的概率是 例7-23 对于只有两个状态的马氏链，一步转移概率矩阵一般可表示为： 试求n步转移概率矩阵。 解 ，特征方程为 有相异特征值 由线性代数知识，可将矩阵P 表示为对角阵 的相似矩阵。 ，则 由 ，容易算得 对应的特征向量 具体做法是：求出 解: 先求出二步转移概率矩阵 于是 五、 齐次马尔科夫链的遍历性与平稳分布 对于一个系统来说，考虑它的长期的性质是很必要的，比如当 时， 的极限 是否存在？ 所以问题可以转化为研究 的极限性质，即研究 是否存在？存在的话，其极限是否与 有关？有关这两方面问题的定理，统称为遍历性 定理。 （一） 遍历性 由全概公式可知 对于一般的两个状态的马氏链，有 具有遍历性的马氏链是否存在呢？ 当 ，上式得极限为 可见此马氏链的 步转移概率有一个稳定的极限， 无关，并且 其极限与 对于一般的马氏链， 什么时候会存在呢？ 证：由于： 故 即，经过无穷次转移后处于 状态的概率与 初始状态无关，与初始状态的分布也无关。 推论7-1 如果马氏链是遍历的，则 所取的值与初始状态的分布无关。 续例7-22 解 先求出二步转移概率矩阵 于是 （1） （2） （3）由于所有的二步转移概率均大于零，由定理7-4可知，此链具有遍历性； 又 ，则 ，可得 由 例7-24 设一马氏链的一步转移概率矩阵为 试讨论它的遍历性。 解: 先算得 定义 7-25 一个定义在状态空间上的概率分布 称为马氏链的平稳分布，如有： 即， ，有： 在定理7-4的条件下，马氏链的极限分布又是平稳分布。 (二) 平稳分布 例 7-25 设马氏链的一步转移概率矩阵为 试求其平稳分布。 解得 ，平稳分布满足方程 解：由 例7-26 设一马氏链的一步转移概率矩阵为 问此马氏链是否具有遍历性，是否存在平稳分布。 ，显然此链不具有遍历性。但是 则此链具有平稳分布 且有无穷多个。 解 易知， * 一般地，转移概率Pij (n, n+1)不仅与状态i, j有关，而且与时刻n有关，当Pij (n, n+1)不依赖于n时，表示马尔可夫链具有平稳转移概率。以下我们只讨论齐次马尔可夫链，通常将“齐次”两字省略。 * 只是这里的矩阵可以是无穷的（行、列为无穷），但乘法规则与有限矩阵一样。 切普曼－柯尔莫哥洛夫方程的直观意义也很明显，从状态i出发经n+m步到达状态j可分两阶段走，先从i状态出发经过n步到达状态k，然后再从状态k出发经过m步到达状态j。由马氏性后一阶段的状态转移与前一阶段的状态转移独立，故而两个阶段的转移概率相乘。经过n步所能达到的状态k不受任何限制，因而应对全部的k求和。 * 只是这里的矩阵可以是无穷的（行、列为无穷），但乘法规则与有限矩阵一样。 切普曼－柯尔莫哥洛夫方程的直观意义也很明显，从状态i出发经n+m步到达状态j可分两阶段走，先从i状态出发经过n步到达状态k，然后再从状态k出发经过m步到达状态j。由马氏性后一阶段的状态转移与前一阶段的状态转移独立，故而两个阶段的转移概率相乘。经过n步所能达到的状态k不受任何限制，因而应对全部的k求和。 * 上述极限的意义是：对固定的状态j，不管链在某一时刻从什么状态（i=0或1）出发，通过长时间的转移，到达状态j的概率都趋于?j，这就是所谓的遍历性。又由于?0+ ?1=1 ,所以(?0 ,,?1)构成一分布律，称它为链的极限分布。 另外，如若我们能用其他简便的方法直接由一步转移概率求得极限分布?，则反过来， * 上述极限的意义是：对固定的状态j，不管链在某一时刻从什么状态（i=0或1）出发，通过长时间的转移，到达状态j的概率都趋于?j，这就是所谓的遍历性。又由于?0+ ?1=1 ,所以(?0 ,,?1)构成一分布律，称它为链的极限分布。 另外，如若我们能用其他简便的方法直接由一步转移概率求得极限分布?，则反过来， * 问题：齐次马氏链在什么条件下才具有遍历性？如何求出它的极限分布?？这个问题在理论上已经圆满解决，下面仅就只有有限个状态的链即有限马氏链的遍历性给出一个充分条件。 * 依照定理，为证有限链是遍历的，只需找一个正整数m，使m步转移矩阵Pm　无零元，而求极限分布?的问题，化为解方程组的问题。 * 说明： 马氏过程的内容除了讨论最简情形马氏链之外，还研究状态离散、时间连续的马氏过程和状态、时间都是连续的马氏过程，它们都有比较完善的理论，而且讨论的主题也都是从各自场合的C－K方程出发，研究转移概率的确定方法和性质。 第7章 随机过程——马尔可夫链 第*页 §7.2 马尔