3. 状态空间的分解.pptx

3. 状态空间的分解 定义 引理7 (有关闭集的判定和性质) 证明 (1) 用数学归纳法 引理8 证明 引理9 设C是闭集,则当且仅当其中任何两个状态 互通时,C为不可约的. 证明 推论 齐次马尔可夫链是不可约的充要条件是 它的任何两个状态互通 特别关于有限状态的马尔可夫链有下面结论 定理7 (1) 有限齐次马尔可夫链所有非常返状态集D不可能 是闭集. (2) 有限齐次马尔可夫链不可能存在零常返状态. (3) 不可约的有限齐次马尔可夫链的所有状态都是 正常返状态. 证明 定理 8 证明 由以上的分析,可以得到状态空间的分解定理 定理 9 齐次马尔可夫链的状态空间S可唯一地分解成有限个 或可列无限多个互不相交的状态子集的并.即 其中 D是所有非常返状态构成的状态子集. 所有常返状态构成的不可约闭集. 每个状态子集中的状态有着相同的状态类型: (即 或者均为零常返,或者均为正常返非周期, 或者均为正常返周期且周期相同.) 引理10 证明 定理10 (周期链分解定理) 证明思路: 从三个方面证明 (1) 分解式的存在性 (2) 转移规则的合理性(正确性) (3) 分解式的唯一性 证明 (1) 分解式的存在性 (2) 转移规则的正确性 (3) 分解式的唯一性 定理11 证明 (1) 例1 设状态空间S={0,1,2}的马尔可夫链,它的一步 转移概率矩阵为 研究其状态间的关系以及状态类型 例2 设状态空间S={1,2,3,4}的马尔可夫链,它的一步 转移概率矩阵为 试分析状态类型 例3 设{Xn,n=0,1,2,…}是一齐次马尔可夫链, 状态空间 S={1,2,3,4,5},其一步转移概率矩阵为 试分析状态类型 例4 设齐次马尔可夫链的状态空间S={0,1,2,3,},其一步 转移概率矩阵为 试分析过程的周期性 例5 设齐次马尔可夫链的状态空间S={1,2,3,4,5,6,7,8}, 其一步转移概率矩阵为 例5 设齐次马尔可夫链的状态空间S={1,2,3,4,5,6,}, 其一步转移概率矩阵为 试分解此马尔可夫链,并写出各状态类型及周期.