6.3马尔可夫的状态分类.pdf

6.3 马尔可夫链的状态分类 数学与统统计学院 李伟 2013 年秋季 1 马尔可夫链状态的分类 本节内容 ?状态类型定义 ?状态类型判断 ?状态之间的关系 ?状态空间的分解 §6.3.1 状态类型定义 定义6.3.1 设任意的i, j∈ S , n ≥ 1, 称 (n ) = = ≠ = ? = fij P{ X n j , X k j , k 1,2,? , n 1 X0 i } 为马氏氏链在0时从状态i出发,经n步转移后,首次到达 状态j的概率.简称首达概率. 记 (+∞ ) = ≠ = = fij P{ X n j , n 1,2,? X0 i } 称(+∞ ) 为马氏氏链在0时从状态 出发,永永远不能转移到 fij i 状态j 的概率. ∞ 又记 = (n ) fij∑ f ij n=1 ∞ = = ≠ = ? = P{∪ ( Xn j , X k j , k 1,2,? , n 1) X0 i } n=1 称 为马氏氏链在0时从状态i出发,经有限步转移后终究 fij 到达状态j的概率（也称迟早概率）. 特别的，当= 时， 表示马氏氏链在0时从状态 出发, i jfii i 经有限步转移后终究返回状态i的概率. 利用概率 可以定义状态类型 fii 定义6. 3.2 设状态i∈ S 若= 则称状态 是常返的 (返回的) fii 1, i 若 则称状态 是非常返的 (滑过状态) fii 1, i 当i 为常返态时，也就有 ∞ =(n ) = ， fii∑ f ii 1 n=1 即(n ) 构成概率分布.则相应的数学期望为 fii ∞ μ = ? (n ) ii∑n f ii n=1 则μ 表示马氏氏链从状态 出发首次再返回状态 的 ii i i 平均时间（或平均转移步数）. μ 利用量 ii 可以进一步定义状态类型 定义6.3. 3 设状态i∈ S 是 常返的, 若μ +∞ 则称状态 为正常返状态. ii , i 若μ = +∞ 则称状态 为零常返状态. ii , i （消极常返状态） 例6.3.1 设状态空间S={1, 2, 3, 4} 的马尔可夫链, 它的一 步转移概率矩阵为 ?1 1 ? ?0 0 ? ?2 2 ? ?1 0 0 0 ? P = ?1 2 ? ?0 0 ? ?3 3 ? ?1 1 ? ?0 0 ? ?2 2 ? 试分析马氏氏链的状态的常返与否 解: 马氏氏链的状态转移图为 2 1