马尔科夫链的状态分类要点.pptVIP

类似地可求得 所以 4 1 41 34 13 ) 3 ( 11 ? ? ? ? p p p f 4 1 41 34 23 12 ) 4 ( 11 ? ? p p p p f 0 ) ( 11 ? n f （ ? , 6 , 5 ? n ） ) ( 11 1 11 n n f f ? ? ? ? 1 4 1 4 1 4 1 4 1 ? ? ? ? ? 于是状态 1 是常返的。 又因为 ? ? ? ? ? ? ? 2 5 ) ( 11 1 1 n n f n ? 所以状态 1 是正常返的。 由定理可知，此链所有状态都是正常返的。 例 4 设马氏链的状态空间 S ={0,1,2,…} ，其一步转移 概率为 其中 试证此马氏链是一个不可约常返态链 p p ii ? ? 1 ， q p i ? 0 ， I i ? 1 0 ? ? p ， 1 ? ? q p 证 先证 S 不可约 设 i ， j 是 I 中任意两个状态， 若 j i ? ， 则有 j j i i p p p p ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1 1 ? 即 j i ? 若 j i ? ，则有 j j i p p p p q ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1 1 0 ? 即 j i ? 于是对于任意的 I j i ? , ，都有 j i ? 类似地可证 所以 即 I 中任意两个状态都是相通的。 因此， S 是一个不可约的闭集 再证 S 中状态 0 是一个常返态： 由状态的转移规则，得 i j ? j i ? 0 1 2 1 0 ?? ? ? ?? ? ?? ? ?? ? ?? ? q p p p p n ? 所以 ) ( 00 1 00 n n f f ? ? ? ? } 0 | { 0 00 1 ? ? ? ? ? ? X n T P n } 0 | 0 , 1 , , 2 , 1 { 0 1 2 1 1 ? ? ? ? ? ? ? ? ? ? ? X X n X X X P n n n ? ? } 1 , 0 | 2 { } 0 | 1 { 1 0 2 0 1 1 ? ? ? ? ? ? ? ? ? X X X P X X P n } 1 , , 0 | 0 { 1 0 ? ? ? ? ? ? n X X X P n n ? ? } 1 | 2 { } 0 | 1 { 1 2 0 1 1 ? ? ? ? ? ? ? ? X X P X X P n } 1 | 0 { 1 ? ? ? ? n X X P n n ? ? ? ? ? 1 1 n n qp 1 1 ? ? ? p q 由定义知状态 0 为常返态。 因此，由定理知 S 中所有状态都是常返态。 故此马氏链为不可约常返链。 三、状态的周期与遍历 1 ．周期状态 对于任意的 ，令 其中 GCD 表示最大公约数 i S ? } 0 1 { ) ( ? ? ? n ii i p n GCD d ： 如果 1 ? i d ， 则称 为周期态， i i d 为周期 如果 1 ? i d 则称 为非周期态。 i 定理 12 设马氏链的状态空间为 I ， , i j S ? （ 1 ）若 j i ? ，则 j i d d ? ； （ 2 ）若是不可约马氏链，且 0 ? ii p ，则此马氏链是非周期链。 证 所以存在正整数 m 、 n ，使 则有 则有 因此有 （ 1 ） 因为 j i ? ， 0 ) ( ? m ij p ， 0 ) ( ? n ji p ) ( n m ii p ? ) ( m ij p ? 0 ) ( ? n ji p 所以 i d 能整除 m + n 若对某一 0 ? s 有 0 ) ( ? s jj p ， ) ( s n m ii p ? ? ) ( m ij p ? ) ( s jj p 0 ) ( ? n ji p 所以 i d 能整除 m + n + s ， 从而 i d 能整除 s 。 j i d d ? 类似地可证得 i j d d ? 故 j i d d ? （ 2 ） 所以 因为对于 i S ? 有 0 ? ii p ， 1 ? i d 从而 i 为非周期态。 又因为马氏链不可约， 对于 i S ? 有 j i ? ， 所以 j 也是非周期态， 从而该马氏链是非周期链。 2 ．遍历状态 若状态 i 是正常返且非周期，则称 i 为遍历状态。 若马氏链 { n X } 的所