随机过程马氏过程.pptVIP

西南交通大学 * 一 齐次马氏链的遍历性 二 齐次马氏链的平稳分布 * 我们注意到，齐次马氏链的n步转移概率当n趋于无穷时,即过程的转移无限进行下去时,其极限可能存在，而且也可能与起始状态i无关，例如只有两个状态的马氏链，其一步转移概率矩阵为 易知其任意步转移概率矩阵为 * 又如一齐次马氏链，状态空间为E={1,2,3}，其一步转移概率矩阵,二步,三步转移概率矩阵为 * 于是由此可推测 * 因此,一般来说，通常讨论关于齐次马氏链的n步转移概率的两方面问题，一是其极限是否存在？二是如果此极限存在，那么它是否与现在所处状态i无关，在马氏链理论中，有关这两方面问题的定理，统称为遍历性定理。 * 一 齐次马氏链的遍历性 定义4.1 设齐次马氏链的状态空间为E={1,2,…}，若对于E中所有的状态 i,j，存在不依赖于i的常数πj，为其转移概率的极限，即 其相应的转移矩阵有 * 则称此齐次马氏链具有遍历性，并称πj为状态j的稳态概率。 * 定理4.1 设齐次马氏链{X(n),n≥1}的状态空间为E={1,2,…,N}，若存在正整数m，使对任意的i,j∈E，其m步转移概率均大于0, 即 则此马氏链具有遍历性；且各状态的稳态概率满足下列方程组 * 及概率分布条件 注1 判断马氏链的遍历性有很多方法,本定理只是其中一个较为