随机过程19(4.4) 转移概率的稳态性能.pptVIP

* 四 转移概率的稳态性能 问题 马尔可夫链是否具有统计意义下的稳态性,即要回答以下问题? 当 时, 转移概率数列 是否收敛? 若 存在,此极限是否与初始状态i无关? (3)在怎样的条件才能保证 存在且与初始状态i无关? 1. 转移概率的极限 由已有知识可知 但! 又由已有知识可知 那么,如何讨论 ? ? ? 由周期链的性质得到启发 我们讨论 定理1 设j是正常返状态，则 其中 是j的平均转回时间. 证明 则 推论 设 是齐次马尔可夫链，它的每个 状态都是正常返的，而且都有周期d，状态空间S 已经被唯一地分解成 特别的，如果d=1,则 证明 在以上定理中取 r=d, 则有 即 得到结论. 证明 定理3 设 其中D为非常返状态 集， 为零常返状态集， 为正常返 状态闭集，则 且此极限值与初始状态i无关，记作 推论 设 是不可约的马尔可夫链，其 状态空间S中的每个状态都是正常返非周期状态,则 即 定理4 设C 为互通的遍历状态构成的闭集，则 证明 定义 设 是一个马尔可夫链，如果 构成一概率分布，称为马尔可夫链 的极限分布. 推论 不可约马尔可夫链是遍历链的充要条件 是极限分布存在且唯一. 2 平稳分布 定义 称概率分布 是转移概率矩阵为 的马尔可夫链的一个平稳分布.如果 说明 若齐次马尔可夫链有一个平稳分布: 定理5 设 是齐次马尔可夫链 的一个平稳分布，如果取 为 的初始分布，即 (1) 则对任意的正整数n，都有 (2)并且对任意的正整数n，m,以及 证明 说明了 若链有平稳分布,且以它作为初始分布,则其绝对 分布是确定的,保持不变.且该链是严平稳的序列. 对一个齐次的马尔可夫链是否存在平稳分布??? 一个重要的问题: 如果存在,是否唯一???? 如何计算????? 在特殊情况下,回答上述问题,即定理(5.4.)6 引理1 设 则必存在极限 推论4 如果齐次马尔可夫链是不可约的，它的所有状态都是常返状态，则 有 定理6 设 特别的，若S 中的每个状态都是遍历状态，则 且此时的平稳分布就是极限分布. 平稳分布通过 求解右方程组 其次 对一般的马尔可夫链,如果不是不可约,则极限分布一定不存在. 平稳分布可能存在,也可能不存在. 若存在,可能不唯一(有无穷多个) 有定理(5.4.)7 引理2 设C是周期为d的正常返状态的不可约闭集,则 定理7 设 其中D是 非常返状态集，C0是零常返状态集， 是正常返状态的不可约闭集， 为齐次马尔可夫链的平稳分布的 充要条件是存在非负数列 *