Markov链的状态分类.ppt

* §3.2 Markov链的状态分类 互达性和周期性 定义3.3 设i 和j 是时齐的Markov链的两个状态, 如果存在n?0, 使得 , 则称从状态i 可达状态j, 记作i?j. 反之, 以i j表示从状态i 不可达状态j, 即对一切n?0, . 若i?j且j?i, 则称状态i和j互达(相通), 记作i?j. 注: 引入互达性概念是为了对状态进行分类. 命题3.1 互达性是等价关系, 即满足: (1) 自反性: i?i ; (2) 对成性: 若i?j, 则j?i ; (3) 传递性: 若i?k 且k?j, 则i?j . 证: (3) 若i?k 且k?j, 则存在整数n和m使得: 由Chapman-Kolmogorov方程得: 即: i?j. 类似可证j?i. 在数学上, 等价关系可以用于对集合进行分割. 因此, 我们也可以利用互达性对状态空间进行分类, 并且这些类在互达关系下是等价类. 定义3.4 一个Markov链的状态空间, 如果在互达性这一等价关系下都居于同一类, 那么就称这个Markov链是不可约的. 否则, 这个Markov链就被称为是可约的. 注: 引入可约/不可约概念是为了以后研究状态的周期,进一步是为了研究转移概率的极限性质. 则显然{1, 2}和{3, 4, 5}是状态在互达意义下的两个等价类. 因此, 这个Markov链是可约的. 比如其中一个子链为: 例3.6 若Markov链有转移概率矩阵 给出这个Markov链状态的等价类, 并且试给出其n步转移概率矩阵. 练习: 若Markov链有转移概率矩阵 答: 等价类为: {1, 4}, {2, 5}和{3}. 其中3为吸收态. 用Mathematica软件计算知: 所以 定义3.5 设i为Markov链的一个状态, 使 的所有正整数n (n?1)的最大公约数, 称为状态i的周期, 记作d(i) 或 di . 如果对所有n?1, 都有 , 则约定周期为?; d(i)=1的状态i称为是非周期的. 推论: 如果n不能被周期d(i)整除, 则必有 . 注: 当状态i的周期为d时, 不一定成立. 试求状态0的周期. 例3.7 若Markov链有状态0,1,2,3和转移概率矩阵 解: 状态转移可以用下图表示 用数学归纳法不难求出: 所以 d(0) = 2. 试求状态1的周期. 练习: 若Markov链有状态1,2,3和转移概率矩阵 解: 状态转移可以用下图表示 所以 d(1) = 2. 您能求出状态2的周期吗? 命题3.2 如果i?j, 则 di = dj. 证: 设m?1, n?1,使得 , 则 因此, m+n同时能被di及dj整除. 若 ,则 即: m+s+n也能被dj整除. 因此, s能被dj整除. 从而dj整除的 最大公因子di. 根据对称性, di也整除dj , 所以 di = dj . 对于任意的s?1满足 , 则 引理3.1 设m?2, 正整数s1, s2,…, sm的最大公因子为d, 则存在正整数N, 使得nN时, 必有非负整数c1, c2,…cm使 . 我们引入状态周期概念的目的，是为了研究状态转移矩阵的极限性质，即当n??时P(n)的极限，这个矩阵可以反映出Markov链在平稳状态时的特征。因此，下面我们将讨论周期的基本性质，为此先给出一个数论中的结论： 推论3.1 设状态i的周期为di. 如果 , 则存在整数N, 使得对所有n?N恒有 证: 这时存在正整数s1, s2,…, sm, 使得它们的最大公因子为d, 且 . 命题3.3 如果状态i有周期d, 则存在整数N, 使得对所有n?N恒有 . 由引理3.1, 存在正整数N, 使得nN时, 必有非负整数c1, c2,…cm使 . 从而 因为状态空间有限, 对全部的状态对(i,j), 求出N(i,j). 并取 , 则显然对所有状态i和j, 当nN时有 . 证: 由于Markov链是不可约的, 过程的任两个状态i和j都是