随机过程9分析.pptVIP

* 四 转移概率的稳态性能 问题 马尔可夫链是否具有统计意义下的稳态性,即要回答以下问题? 当 时, 转移概率数列 是否收敛? 若 存在,此极限是否与初始状态i无关? (3)在怎样的条件才能保证 存在且与初始状态i无关? 1. 转移概率的极限 由已有知识可知 但! 又由已有知识可知 那么,如何讨论 ? ? ? 由周期链的性质得到启发 我们讨论 定理1 设j是正常返状态，则 其中 是j的平均转回时间. 证明 则 推论 设 是齐次马尔可夫链，它的每个 状态都是正常返的，而且都有周期d，状态空间S 已经被唯一地分解成 特别的，如果d=1,则 证明 在以上定理中取 r=d, 则有 即 得到结论. 定理2 设齐次马尔可夫链 的状态空间为S, 如果存在某正整数m,使 的一步转移概率 矩阵P的m次幂 中的每个元素都大于0，则 是不可约的,而且 必存在极限 且此极限与初始状态i 无关，记为 即有 证明 定理3 设 其中D为非常返状态 集， 为零常返状态集， 为正常返 状态闭集，则 且此极限值与初始状态i无关，记作 推论 设 是不可约的马尔可夫链，其 状态空间S中的每个状态都是正常返非周期状态,则 即 定理4 设C 为互通的遍历状态构成的闭集，则 证明 定义 设 是一个马尔可夫链，如果 构成一概率分布，称为马尔可夫链 的极限分布. 推论 不可约马尔可夫链是遍历链的充要条件