第11讲Markov链的状态分类解析.pptVIP

随机数学 第11讲 Markov链的状态分类与判别 教师: 陈 萍 prob123@mail.njust.edu.cn §3.2 Markov链的状态分类与判别 定义3.2.3 若一Markov链的任意两个状态都相通，则称为不可约链。 定义3.2.8 设C ? E，若对任意的i?C，和任意的j?C, 及任意的n?T，pij(n)=0，则称C为E的闭集。 3.3 状态空间分解定理 * * * * 马氏链的等价描述： 1) (3.1.2） 2) 3) C-K方程. 或 定理3.1.4 例3.2.1 设系统有三种可能状态E= {1, 2, 3}. “1”表示系统运行良好，“2”表示运行不正常，“3”表示系统失效.以Xn表示系统在时刻n的状态, 并设{Xn, n≥0}是一Markov链. 其一步转移概率矩阵为P 用有向图表示为： 定义3.2.1 称状态i?E为吸收态，若pii = 1. 定义3.2.2 对i,j ? E，若存在n? N，使 ，则称自状态i出发可达状态j，记为i? j.如果i?j且j?i，则称i,j 相通，记为i?j. 定理3.2.1 相通是一种等价关系,即满足 自返性 i? i; 对称性 i?j,则 j?i; 传递性 i?j, j?k则 i?k. 定义3.2.4 令 Tij=min{n:X0=i,X n=j,n?1}，称为系统在0时刻从状态i出发，首次到达状态j的时间，简称为首达时. 且规定, 若右边为空集，则Tij =∞. 设{Xn}是无限制的随机游动, 且p, q, r 都大于0. 证明{Xn}是不可约链 . 定义3.2.5 令 表示0时刻从状态 i出发，经 n步转移后首次到达状态j 的概率，称为n步首达概率；由i 出发，经过有限步首次到达状态 j 的概率为 定义3.2.6 若fii=1，则称状态 i 为常返态; 若fii 1，则称状态 i 为瞬时态（非常返态）。 定义3.2.7 如果fij = 1, 记 则 表示从i出发到达j的平均转移时间.特别，称 为从状态i出发，返回状态i的平均返回时间. 若 ∞，称i为正常返态；若 =∞，称i为零常返状态. 例3.2.1（续1）求系统由1出发，经过有限步首次到达状态 2 的概率. 并求fii,i=1,2,3 例3.2.2 设马尔可夫链的状态空间E= {1, 2, 3, 4}，转移概率矩阵为 试判断各状态的常返性。 1 2 3 4 引理 对任意i, j?E及n?1，有 注：由式(3.2.1)可得递推公式: 上式也称为M . C从状态 i 首次到达状态 j 的分解式，简称首达分解式。 推论 定理 3.2.2 i 为瞬时态 定理3.2.3 推论 有限状态马氏链的状态空间至少有一个常返态。 定理3.2.4 常返态全体构成一个闭集。 i 为常返态 定理3.2.6 设马氏链的状态空间为E， (1) 对任意i, j?E，若 i?j，则它们同为常返态或瞬时态；而且当i, j是常返态时，i, j 同为正常返态或同为零常返态； (2) 不可约的有限齐次马氏链的状态都是正常返的。 定义3.2.7 如果集合{n :n≥1, 0}≠φ，称该数集的最大公约数d(i)为状态i的周期.若d(i)1，称i为周期的，若d(i)=1，称i为非周期的. 定义3.2.8 若状态 i为正常返态的且非周期的，则称i为遍历状态. 如果Markov链的所有状态都是遍历态,则称该Markov链是遍历的. 小结 相通、闭集、不可约 状态 常返 瞬时 正常返、 零常返 周期、 非周期 遍历 定理3.2.7 设马氏链的状态空间为E， i, j?E， （1）若 i ?E是一个周期态，且 i?j，则 j 也是周期态，且di= dj ； （2）若此链不可约，且对i ?E有pii 0，则此链是非周期链。 ? 任意Markov链的状态空间E可唯一分解为有限或可列个互不相交的子集之和 其中 N由全体瞬时态组成; 每个 或 是零常返或正常返态组成的不可约闭集; (3)每个 或 中的状态同类.它们有相同的周期,且 设齐次马尔可夫链的矩阵一步转移概率矩阵为 试对其状态空间进行分解. 为了揭示Markov链的基本结构，需要对状态按照某些概率特性来分类，并讨论这些分类的判别法则.状态的分类也是研究转移概率极限性态的基础. 可见，从“1”或“2”状态出发经有限次转移后总要到达“3”状态，而一旦到达“3”则永远停在“3”. 显然状态“1”，“2”与状态“3”概率性质不同.由此引入如下定义： 我们把任何两个相通的状态归为一类,易见同在一类的状态是相通的,并且任何一个状态不能同时属于两个不同的类.若Mark