马尔可夫链状态的分类本节内容状态类型定义状态-西安电子科技大学.PDFVIP

马尔可夫链状态的分类 本节内容 状态类型定义 状态类型判断 状态之间的关系 状态空间的分解 随机过程—— 西安电子科技大学数学系冯海林 状态类型定义 定义6.3.1 设任意的i, j ∈S , n ≥1, 称 f (n ) P {X j ,X ≠j ,k 1, 2,L, n −1 X i} ij n k 0 为马氏链在0时从状态i出发,经n步转移后,首次到达 状态j的概率.简称首达概率. 记 f (+∞) P {X =≠j , n 1, 2, LX 0 i} ij n 称f (+∞)为马氏链在0时从状态i 出发,永远不能转移到 ij 状态j 的概率. 随机过程—— 西安电子科技大学数学系冯海林 ∞ 又记 f ∑f (n ) ij ij n 1