随机过程与Chapter 3.2 Classificatian of States On Markov Chain .ppt

第三章 Markov 过程 * 3.1 Markov链的定义和例子 3.2 Markov链的状态分类 3.3 Markov链的极限定理和平稳分布 * 3.2 Markov链的状态分类 互达性和周期性 定义3.3 命题3.1 互达性是等价关系, 即满足: (1) 自反性: i?i ; (2) 对称性: 若i?j, 则j?i ; (3) 传递性: 若i?k 且k?j, 则i?j . 证: (3) 若i?k 且k?j, 则存在整数n和m使得: 由Chapman-Kolmogorov方程得: 即: i?j. 类似可证j?i. 在数学上, 等价关系可以用于对集合进行分割. 因此, 可以利用互达性对状态空间进行分类, 并且这些类在互达关系下是等价类. 定义3.4 一个Markov链的状态空间, 如果在互达性这一等价关系下都居于同一类, 那么就称这个Markov链是不可约的. 否则, 这个Markov链就被称为是可约的. 则显然{1, 2}和{3, 4, 5}是状态在互达意义下的两个等价类. 因此, 这个Markov链是可约的. 比如其中一个子链为: 例3.6 若Markov链有转移概率矩阵 给出这个Markov链状态的等价类. 练习: 若Markov链有转移概率矩阵 答: 等价类为: {1, 4}, {2, 5}和{3}. 其中3为吸收态. 定义3.5 设i为Markov链的一个状态, 使 的所有正整数n (n?1)的最大公约数, 称为状态i的周期, 记作d(i). 如果对所有n?1, 都有 , 则约定周期为?; d(i)=1的状态i称为是非周期的. 推论: 如果n不能被周期d(i)整除, 则必有 . 注: 当状态i的周期为d时, 不一定成立. 试求状态0的周期. 例3.7 若Markov链有状态0,1,2,3和转移概率矩阵 解: 状态转移可以用下图表示 用数学归纳法不难求出: 所以 d(0) = 2. 试求状态1的周期. 练习: 若Markov链有状态1,2,3和转移概率矩阵 解: 状态转移可以用下图表示 所以 d(1) = 2. 命题3.2 如果i?j, 则 d (i)= d (j). 证: 设m?1, n?1,使得 , 则 因此, 对于任意的s?1满足 , 则 引理3.1 设m?2, 正整数s1, s2,…, sm的最大公约数为d, 则存在正整数N, 使得nN时, 必有非负整数c1, c2,…cm使 . 命题3.3 如果状态i有周期d(i), 则存在整数N, 使得对所有n?N恒有 . 证: 这时存在正整数s1, s2,…, sm, 使得它们的最大公约数为d(i), 且 . 由引理3.1, 存在正整数N, 使得nN时, 必有非负整数c1, c2,…cm使 . 从而 推论3.1 设状态i的周期为d(i). 如果 , 则存在整数N, 使得对所有n?N恒有 引入状态周期概念的目的，是为了研究状态转移矩阵的极限性质，即当n??时P(n)的极限，这个矩阵可以反映出Markov链在平稳状态时的特征。 因为状态空间有限, 对全部的状态对(i,j), 求出N(i,j). 并取 , 则显然对所有状态i和j, 当n ? N时有 . 证: 由于Markov链是不可约的, 过程的任两个状态i和j都是互达的, 于是存在m (与i和j有关)使得 . 由推论3.1及链的非周期性知, 存在N, 使得当n?N时, . 命题3.4 设P为一个不可约、非周期、有限状态Markov链的转移矩阵, 则必存在N, 使得当n?N时, P(n)的所有元素都大于0. 显然这是一个不可约、非周期、有限状态的Markov链. 例3.8 若Markov链有转移概率矩阵 常返与瞬过 定义： 则 表示从状态i出发在第n次转移时首次到达状态j的概率. 定义： 则 表示从状态i出发在第n次转移时首次回到状态i的概率. 定义： 则 表示从状态i出发最终(首次)到达状态j的概率. 性质：当i ? j 时, 则 i? j