11.3 马 氏 链.ppt

四、切普曼－柯尔莫哥洛夫方程 有两个吸收状态“1”和“5” 若不许他再进入酒吧, 又被家人赶出门, 则转移矩阵为 称状态“1”和“5”是反射状态. 五、遍历性与平稳性 将老鼠迷宫涂上不同颜色, 对老鼠运动进行足够多次的观察，以了解， 1 红 2 白 3 黑 1）哪一种颜色的吸引力最大？ 2）初始状态对结果有何种 影响？ 关注当n→∞, pij(n) 的极限（j =1,2,3）是否与 i 有关？ 数学问题： 定义11.3.6 设{ξ(n),n=0，1,2,…}是齐次马氏链, 若对 且与 i 无关，称此马氏链具有遍历性. 以下极限存在 是概率向量 为齐次马氏链的最终分布或 极限分布. 齐次遍历马氏链的n步转移矩阵满足 EX.11.3.7 直线上的随机游动 1 2 3 状态空间E={1, 2, 3} 讨论{ξ(n), n≥1}是否遍历？ 解 {ξ(n), n≥1}是齐次马氏链. 故{ξ(n), n≥1}不是遍历马氏链. 定理11.3.2 (遍历性定理 ) 设齐次马氏链{X(n),n=0,1,2,…}的状态空间为E={1, 2,…, s}. (有限状态马氏链) 若存在正整数n0 , 对任意i，j ∈E有 则此马氏链是遍历的，且极限分布Π是方程组 在满足条件 下的唯一解. 是概率向量 注一 对于齐次马氏链,