Markov链的状态分类与例子.ppt

* Markov链的状态分类 互达性和周期性 定义1. 设i 和j 是时齐的Markov链的两个状态, 如果存在n?0, 使得 , 则称从状态i 可达状态j, 记作i?j. 反之, 以i j表示从状态i 不可达状态j, 即对一切n?0, . 若i?j且j?i, 则称状态i和j互达(相通), 记作i?j. 注: 引入互达性概念是为了对状态进行分类. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 命题1.1 互达性是等价关系, 即满足: (1) 自反性: i?i ; (2) 对成性: 若i?j, 则j?i ; (3) 传递性: 若i?k 且k?j, 则i?j . 证: (3) 若i?k 且k?j, 则存在整数n和m使得: 由Chapman-Kolmogorov方程得: 即: i?j. 类似可证j?i. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 在数学上, 等价关系可以用于对集合进行分割. 因此, 我们也可以利用互达性对状态空间进行分类, 并且这些类在互达关系下是等价类. 定义2. 一个Markov链的状态空间, 如果在互达性这一等价关系下都居于同一类, 那么就称这个Markov链是不可约的. 否则, 这个Markov链就被称为是可约的. 注: 引入可约/不可约概念是为了以后研究状态的周期,进一步是为了研究转移概率的极限性质. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 则显然{1, 2}和{3, 4, 5}是状态在互达意义下的两个等价类. 因此, 这个Markov链是可约的. 比如其中一个子链为: 例1. 若Markov链有转移概率矩阵 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 给出这个Markov链状态的等价类, 并且试给出其n步转移概率矩阵. 例2. 若Markov链有转移概率矩阵 答: 等价类为: {1, 4}, {2, 5}和{3}. 其中3为吸收态. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 用Mathematica软件计算知: 所以 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 定义3. 设i为Markov链的一个状态, 使 的所有正整数n (n?1)的最大公约数, 称为状态i的周期, 记作d(i) 或 di . 如果对所有n?1, 都有 , 则约定周期为?; d(i)=1的状态i称为是非周期的. 推论: 如果n不能被周期d(i)整除, 则必有 . 注: 当状态i的周期为d时, 不一定成立. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 试求状态0的周期. 例3. 若Markov链有状态0,1,2,3和转移概率矩阵 解: 状态转移可以用下图表示 Evaluation only. Created