Markov链状态分类和例子.pptVIP

Markov链的状态分类;命题1.1 互达性是等价关系, 即满足: (1) 自反性: i?i ; (2) 对成性: 若i?j, 则j?i ; (3) 传递性: 若i?k 且k?j, 则i?j .;在数学上, 等价关系可以用于对集合进行分割. 因此, 我们也可以利用互达性对状态空间进行分类, 并且这些类在互达关系下是等价类.;则显然{1, 2}和{3, 4, 5}是状态在互达意义下的两个等价类. 因此, 这个Markov链是可约的. 比如其中一个子链为:;给出这个Markov链状态的等价类, 并且试给出其n步转移概率矩阵.;用Mathematica软件计算知:;淖悟烦鸣幅七燕熄哈蛰章盆阶焚辈短谍廷陶半徊用殷灿草库絮隘雹炮棒浴Markov链的状态分类与例子Markov链的状态分类与例子;定义3. 设i为Markov链的一个状态, 使 的所有正整数n (n?1)的最大公约数, 称为状态i的周期, 记作d(i) 或 di . 如果对所有n?1, 都有 , 则约定周期为?; d(i)=1的状态i称为是非周期的.;试求状态0的周期.;用数学归纳法不难求出:;试求状态1的周期.;所以 d(1) = 2. 您能求出状态2的周期吗?;命题2. 如果i?j, 则 di = dj.;引理1. 设m?2, 正整数s1, s2,…, sm的最大公因子为d, 则存在正整数N, 使得nN时, 必有非负整数c1, c2,…cm使 .;推论1. 设状态i的周期为di. 如果 , 则存在整数N, 使得对所有n?N恒有;因为状态空间有限, 对全部的状态对(i,j), 求出N(i,j). 并取 , 则显然对所有状态i和j, 当nN时有 .;显然这是一个不可约、非周期、有限状态的Markov链.; 常返与瞬过;定义： 则 表示从状态i出发最终到达状态j的概率.;定义： 表示在0时刻从状态i出发首次到达状态j的所需要转移的步数, 即 如果 , 则;定理2. ① 状态i是常返的 ② 状态i是瞬过的;于是K的条件期望为:;令 , 则 , 于是;由于状态i瞬过的 , 故;例6. 考虑整数点上的随机游动. 向右移动一格的概率为p, 向左移动一格的概率为q=1-p. 从原点0出发, 则一步转移概率矩阵为:;所以;定义 对常返状态i我们定义Ti为首次返回状态i的时刻, 即: 称作常返时. 记 , 则有 , 所以是首次返回i的期望步数, 叫作状态i的平均常返时.