随机过程第四章 3-4（2011年秋季）.pdf

第四章 马尔可夫链 信息工程学院四系二教 刘文芬 第四章 马尔可夫链 1 马尔可夫链的概念及转移概率 2 马尔可夫链的状态分类 3 状态空间的分解 (n ) 4 pij 的渐进性质与平稳分布 2011-10-25 信息工程学院四系三教 2 4.3 状态空间的分解 定义4.9 状态空间I 的子集C 称为(随机) 闭集, 如对任意i C 及k C 都有pik 0. 称状态i为吸收的，若单点集{i}是闭集。 闭集C 称为不可约的,如C 的状态互通（等 价于C不包含非空的闭真子集）. 马氏链{Xn }称为不可约的，如其状态空间 I 不可约。 2011-10-25 信息工程学院四系三教 3 闭集的例 例：设马尔可夫链的状 I {1,2,3,4,5,6}, 态空间为 3 则由图可知， 1 1 {1,3,5} 1 1 5 3 1 {2,6} 1 1 4 2 3 {1,3,5,2,6} 1 1 3 2 6 2 {1,2,3,4,5,6}, 1 是闭集 2011-10-25 信息工程学院四系三教 4 闭集的例 例：带反射壁0和a 的随机游动，其状态空 间中任意两个状态互通，故是不可约马氏 链。 1 p p p p p 0 a 1 p1 p1 p1 p1 p 1 2011-10-25 信息工程学院四系三教 5 闭集的直观意义 闭集C的直观意义是： 自C的内部不能经一步 （因而不能经任意有 限步）到达C的外部。 这意味着一旦质点进入闭集C，它将永远停 留在C 内。 2011-10-25 信息工程学院四系三教