状态空间的分解.ppt

关于状态空间的分解

定义第2页,共32页，星期六，2024年，5月

引理7(有关闭集的判定和性质)证明(1)用数学归纳法第3页,共32页，星期六，2024年，5月

第4页,共32页，星期六，2024年，5月

引理8证明第5页,共32页，星期六，2024年，5月

引理9设C是闭集,则当且仅当其中任何两个状态互通时,C为不可约的.证明第6页,共32页，星期六，2024年，5月

推论齐次马尔可夫链是不可约的充要条件是它的任何两个状态互通特别关于有限状态的马尔可夫链有下面结论第7页,共32页，星期六，2024年，5月

定理7(1)有限齐次马尔可夫链所有非常返状态集D不可能是闭集.(2)有限齐次马尔可夫链不可能存在零常返状态.(3)不可约的有限齐次马尔可夫链的所有状态都是正常返状态.证明第8页,共32页，星期六，2024年，5月

第9页,共32页，星期六，2024年，5月

定理8证明由以上的分析,可以得到状态空间的分解定理第10页,共32页，星期六，2024年，5月

定理9齐次马尔可夫链的状态空间S可唯一地分解成有限个或可列无限多个互不相交的状态子集的并.即其中D是所有非常返状态构成的状态子集.所有常返状态构成的不可约闭集.每个状态子集中的状态有着相同的状态类型:(即或者均为零常返,或者均为正常返非周期,或者均为正常返周期且周期相同.)第11页,共32页，星期六，2024年，5月

引理10证明第12页,共32页，星期六，2024年，5月

定理10(周期链分解定理)证明思路:从三个方面证明(1)分解式的存在性(2)转移规则的合理性(正确性)(3)分解式的唯一性第13页,共32页，星期六，2024年，5月

证明(1)分解式的存在性(2)转移规则的正确性第14页,共32页，星期六，2024年，5月

(3)分解式的唯一性第15页,共32页，星期六，2024年，5月

第16页,共32页，星期六，2024年，5月

定理11证明(1)第17页,共32页，星期六，2024年，5月

第18页,共32页，星期六，2024年，5月

第19页,共32页，星期六，2024年，5月

第20页,共32页，星期六，2024年，5月

例1设状态空间S={0,1,2}的马尔可夫链,它的一步转移概率矩阵为研究其状态间的关系以及状态类型120第21页,共32页，星期六，2024年，5月

例2设状态空间S={1,2,3,4}的马尔可夫链,它的一步转移概率矩阵为试分析状态类型第22页,共32页，星期六，2024年，5月

1234第23页,共32页，星期六，2024年，5月

例3设{Xn,n=0,1,2,…}是一齐次马尔可夫链,状态空间S={1,2,3,4,5},其一步转移概率矩阵为试分析状态类型第24页,共32页，星期六，2024年，5月

12354第25页,共32页，星期六，2024年，5月

例4设齐次马尔可夫链的状态空间S={0,1,2,3,},其一步转移概率矩阵为试分析过程的周期性第26页,共32页，星期六，2024年，5月

1203第27页,共32页，星期六，2024年，5月

例5设齐次马尔可夫链的状态空间S={1,2,3,4,5,6,7,8},其一步转移概率矩阵为第28页,共32页，星期六，2024年，5月29页,共32页，星期六，2024年，5月

例5设齐次马尔可夫链的状态空间S={1,2,3,4,5,6,},其一步转移概率矩阵为试分解此马尔可夫链,并写出各状态类型及周期.第30页,共32页，星期六，2024年，5月

123564第31页,共32页，星期六，2024年，5月

感谢大家观看第32页,共32页，星期六，2024年，5月