马氏链状态分类二随机过程六章sjgc.pdfVIP

§6.3齐次马氏链状态的分类(二)

三、状态间的关系

定义6.3.8对i,jE,若存在n1，使p(n)0,

ij

称自状态i可达状态j,记为i→j.

若i→j，j→i同时成立称状态i与状态j互通，

记为ij.

注自i可达j表示从节点i出发，存在一

条路径可到达节点j.

i…j

引理2可达具有传递性

若i→j,且j→k,则i→k.

i…j…k

证i→j，则r1,使p(r)0;

ij

(n)

j→k，则n1,使pjk0;

由C－K方程

(r+n)(r)(n)(r)(n)

ppppp0.

ikimmkijjk

mE

即有i→k.

引理3若补充定义

0,ij;

(0)

pijij

1,ij.



则互通关系是状态空间E上的一个等价关

系,即满足

1)自反性(律)i→i;

2)对称性ij,当且仅当ji;

3)传递性ik且kj,则ij.

EX.4设马氏链的状态空间E={1,2,3,4,5},

其一步转移矩阵为

110001

22

130002

P443

00010

001014

22

000105

