随机过程 4.2.ppt

4.2 马尔可夫链的状态分类 设 { Xn , n 0 } 是齐次马尔可夫链，其状态空间 I = { 0, 1, 2, … }，转移概率是 pij ， i , j ?I ，初始分布为{ Pj , j ?I } 。 马尔可夫链的状态分类 （1）状态的周期性 （1）状态的周期性 （1）状态的周期性 （2）状态的常返性 （2）状态的常返性 常返性的定义 与 的关系 上式可用来求从状态 i 经 n 步首次到达状态 j 的概率： 与 的关系 周期的等价定义 常返性的判别及其性质 常返性的判别及其性质 常返性的判别及其性质 常返性的判别及其性质 （3）可达关系与互通关系 （3）可达关系与互通关系 （3）可达关系与互通关系 （3）可达关系与互通关系 （3）可达关系与互通关系 （3）可达关系与互通关系 * * 7 8 6 9 5 1 1 1 2/3 1/3 1 1 1 1 1 1 2 3 4 由图可见自状态1出发，在返回状态1的可能步数（时刻）为T={4,6,8,10,…}.显然T的最大公约数为2.但2不属于T，即由1出发经过两步不能返回1.受机械运动的启示，我们仍然把2定义为状态1的周期。 [定义] 如集合 { n : n ? 1, pii(n) 0 } 非空，则称该集合的最大公约数 d = d(i) = G.C.D{ n : pii(n) 0 }为状态 i 的周期。 如 d 1 就称 i 为周期的；如 d = 1 就称 i 为非周期的。 [定理] 如果状态 i 的周期为d ，则存在正整数 M，对一切 n ? M ，有 pii(nd) 0 。 证明：设{n:n≥1,pii(n)0}={n1,n2,···}，令 tk=G.C.D{n1,n2,···nk}, 则tk≥tk+1≥···≥d≥1,故存在正整数N，使得TN=TN+1=···=d,因此d=G.C.D{n1,n2,···nN}.从而存在正整数M,对一切n≥M,由初等数论有 因而当n ≥M时， 例：设I={1，2，3，4}，转移概率如图 1 2 3 4 1 1/2 1/2 1 1 由状态转移图可知状态2与状态3有相同的周期d=2.但由状态3出发经两步必定回到3，而状态2则不然，但2转移到3后，它再也不能返回到2.为区别这样两种状态，我们引入常返性概念。 首中概率——状态 i 经 n 步首次到达状态 j 的概率： 系统从状态 i 出发，经有限步终于到达状态 j 的概率： 称期望值 为状态 i 的平均返回时间。 若 fii = 1，则称状态 i 是常返的；若 fii 1，则称状态 i 是非常返的（或滑过的）。 若 ? i ? ，则称常返态 i 是正常返的；若 ? i = ? ，则称常返态 i 是零常返的。 非周期的正常返态称为遍历状态。 [定理] 对任意状态 i , j ? I 及 1 ? n ? ，有 C-K方程和上述定理是马氏链的关键性公式。 [证明] [例] （例4.8）设马尔可夫链的状态空间 I = {1, 2, 3}，其转移概率矩阵为 求从状态1出发经n步转移首次到达各状态的概率。 解： ① ② ③ p1 q2 q1 q3 p3 p2 [定理] （1）状态 i 常返的充要条件为 状态 i 非常返的充要条件为 （2）若状态 i 是常返态，则 i 是零常返 ， ? i 是遍历状态 ? 。 （3）若 i 是周期为 d 的常返态，则 ; 若 i 是非常返态，则 。 [证明] ：下面仅证定理1，定理2和定理3参见相关文献。 两边乘以sn，并对n≥1求和，若记{pii(n)}与{fii(n)}的母函数分别为P(s)与F(s),则可得 P(s)-1= P(s)F(s) 注意到当0≤s1时，F(s)fii≤1,因此 显然对任意正整数N都有 且当s↑1时P(s)不减，故上式中如令s↑1，再令N→∞，我们有 同理可得 令(*)式两边中的s↑1，有上面两式可得定理。 [定义] （1）若存在 n 0, 使得 pij(n) 0 ，则称自状态 i 可达状态 j ，并记为 i ? j 。 （2）若 i ? j , 且 j ? i , 则称状态 i 与状态