刘次华《随机过程及其应用（第三版）》 马尔科夫链详解.pptVIP

（2）状态的常返性 首中概率——状态 i 经 n 步首次到达状态 j 的概率： 系统从状态 i 出发，经有限步迟早会（首次）到达状态 j 的概率： 常返性的定义 称期望值 为状态 i 的平均返回时间。 若 fii = 1，则称状态 i 是常返的；若 fii 1，则称状态 i 是非常返的（或滑过的）。 若 ? i ? ，则称常返态 i 是正常返的；若 ? i = ? ，则称常返态 i 是零常返的。 非周期的正常返态称为遍历状态。 与 的关系 上式可用来求从状态 i 经 n 步首次到达状态 j 的概率： [定理] 对任意状态 i , j ? I 及 1 ? n ? ，有 周期的等价定义 [例] （例4.8）设马尔可夫链的状态空间 I = {1, 2, 3}，其转移概率矩阵为 求从状态1出发经n步转移首次到达各状态的概率。 解： ① ② ③ p1 q2 q1 q3 p3 p2 常返性的判别及其性质 [定理] （1）状态 i 常返的充要条件为 状态 i 非常返的充要条件为 （2）若状态 i 是常返态，则 i 是零常返 ? ， i 是遍历状态 ? 。 （3）若 i 是周期为 d 的常返态，则