Markov链状态分类.pptVIP

§3.2 Markov链的状态分类;命题3.1 互达性是等价关系, 即满足: (1) 自反性: i?i ; (2) 对成性: 若i?j, 则j?i ; (3) 传递性: 若i?k 且k?j, 则i?j .;在数学上, 等价关系可以用于对集合进行分割. 因此, 我们也可以利用互达性对状态空间进行分类, 并且这些类在互达关系下是等价类.;则显然{1, 2}和{3, 4, 5}是状态在互达意义下的两个等价类. 因此, 这个Markov链是可约的. 比如其中一个子链为:;给出这个Markov链状态的等价类, 并且试给出其n步转移概率矩阵.;用Mathematica软件计算知:;匣笨连谨裂觅噬浮酌阐亲胸烦沾广湿拎辅陨星叔吴奋沉馏晨蹬懦锰蹈翻随Markov链状态分类Markov链状态分类;定义3.5 设i为Markov链的一个状态, 使 的所有正整数n (n?1)的最大公约数, 称为状态i的周期, 记作d(i) 或 di . 如果对所有n?1, 都有 , 则约定周期为?; d(i)=1的状态i称为是非周期的.;试求状态0的周期.;用数学归纳法不难求出:;试求状态1的周期.;所以 d(1) = 2. 您能求出状态2的周期吗?;命题3.2 如果i?j, 则 di = dj.;引理3.1 设