随机过程19(4.4).pptVIP

* 四 转移概率的稳态性能 问题 马尔可夫链是否具有统计意义下的稳态性,即要回答以下问题? 当 时, 转移概率数列 是否收敛? 若 存在,此极限是否与初始状态i无关? 3 在怎样的条件才能保证 存在且与初始状态i无关? 1. 转移概率的极限 由已有知识可知 但! 又由已有知识可知 那么,如何讨论 ? 由周期链的性质得到启发 我们讨论 定理1 设j是正常返状态，则 其中 是j的平均转回时间. 证明 则 推论 设 是齐次马尔可夫链，它的每个 状态都是正常返的，而且都有周期d，状态空间S 已经被唯一地分解成 特别的，如果d 1,则 证明 在以上定理中取 r d, 则有 即 得到结论. 定理2 设齐次马尔可夫链 的状态空间为S, 如果存在某正整数m,使 的一步转移概率 矩阵P的m次幂 中的每个元素都大于0，则 是不可约的,而且 必存在极限 且此极限与初始状态i 无关，记为 即有 证明 定理3 设 其中D为非常返状态 集， 为零常返状态集， 为正常返 状态闭集，则 且此极限值与初始状态i无关，记作 推论 设 是不可约的马尔可夫链，其 状态空间S中的每个状态都是正常返非周期状态,则 即 定理4 设C 为互通的遍历状态构成的闭集，则 证明 定义 设 是一个马尔可夫链，如果 构成一概率分布，称为马尔可夫链 的极限分布. 推论 不可约马尔可夫链是遍历链的充要条件 是极限分布存在且唯一. 2 平稳分布 定义 称概率分布 是转移概率矩阵为 的马尔可夫链的一个平稳分布.如果 说明 若齐次马尔可夫链有一个平稳分布: 定理5 设 是齐次马尔可夫链 的一个平稳分布，如果取 为 的初始分布，即 1 则对任意的正整数n，都有 2 并且对任意的正整数n，m,以及 证明 说明了 若链有平稳分布,且以它作为初始分布,则其绝对 分布是确定的,保持不变.且该链是严平稳的序列. 对一个齐次的马尔可夫链是否存在平稳分布? 一个重要的问题: 如果存在,是否唯一? 如何计算? 在特殊情况下,回答上述问题,即定理 5.4. 6 引理1 设 则必存在极限 推论4 如果齐次马尔可夫链是不可约的，它的所有状态都是常返状态，则 有 定理6 设 特别的，若S 中的每个状态都是遍历状态，则 且此时的平稳分布就是极限分布. 平稳分布通过 求解右方程组 引理2 设C是周期为d的正常返状态的不可约闭集,则 定理7 设 其中D是 非常返状态集，C0是零常返状态集， 是正常返状态的不可约闭集， 为齐次马尔可夫链的平稳分布的 充要条件是存在非负数列 推论5 对于齐次马尔可夫链 1 其平稳分布存在的充要条件是存在正常返状态的 不可约闭集.等价地,不存在平稳分布的充要条件是 H Φ 2 存在唯一的平稳分布的充要条件是恰有一个正常 返状态的不可约闭集. 3 存在无穷多个平稳分布的充要条件是至少有两个 不同的正常返状态的不可约闭集. 4 不可约链存在唯一的平稳分布的充要条件是 所有 状态都是正常返状态. *