随机过程第四版_ch4_马尔可夫链剖析.ppt

* 4.2 马尔可夫链的状态分类 (2)当且仅当p?q，4pq1 状态i是非常返的 * 4.3 状态空间的分解 定义4.9 状态空间I 的子集C称为闭集，如对任意i?C及k?C都有pik=0; 闭集C称为不可约的，如C的状态互通； 马氏链{Xn}称为不可约的，如其状态空间不可约 引理4.4 C是闭集的充要条件为对i?C及k?C都有 * 4.3 状态空间的分解 证 充分性显然成立 必要性（数学归纳法） 设C为闭集，由定义当n=1时结论成立 设n=m时， ，i?C及k?C ，则 注：如pii=1，称状态i为吸收的，等价于 单点集{i}为闭集。 * 4.3 状态空间的分解 例4.10 设马氏链{Xn}的状态空间为 I={1,2,3,4,5}，转移概率矩阵为 状态3是吸收的，故{3}是闭集，{1,4}，{1,3,4}，{1,2,3,4}都是闭集，其中{3}，{1,4}是不可约的。I含有闭子集，故{Xn}不是不可约的链。 * 4.3 状态空间的分解 例4.11 无限制随机游动为不可约马氏链，各状态的周期为2，当p=q=1/2时，是零常返的，当p?q时，是非常返的。 * 4.3 状态空间的分解 定理4.10 任一马氏链的状态空间I，可唯一地分解成