第3章马氏过程剖析.pptVIP

随机数学 第三章 马氏过程 教师: 陈 萍 prob123@mail.njust.edu.cn 3.1 Markov链一、马氏链的概念及转移矩阵 §3.2 Markov链的状态分类与判别 定义3.2.3 若一Markov链的任意两个状态都相通，则称为不可约链。 定义3.2.8 设C ? E，若对任意的i?C，和任意的j?C, 及任意的n?T，pij(n)=0，则称C为E的闭集。 3.3 状态空间分解定理 3.4 极限定理及平稳分布 Markov链的大数定律 (*张) 小结 相通、闭集、不可约 状态 常返 瞬时 正常返、 零常返 周期、 非周期 遍历 定理3.2.7 设马氏链的状态空间为E， i, j?E， （1）若 i ?E是一个周期态，且 i?j，则 j 也是周期态，且di= dj ； （2）若此链不可约，且对i ?E有pii 0，则此链是非周期链。 任意Markov链的状态空间E可唯一分解为有限或可列个互不相交的子集之和 其中 N由全体瞬时态组成; 每个 或 是零常返或正常返态组成的不可约闭集; (3)每个 或 中的状态同类.它们有相同的周期,且 设齐次马尔可夫链的矩阵一步转移概率矩阵为 试对其状态空间进行分解. 例3.4.1 设Markov链的转移矩阵为 (1) 试求状态1,2的n步首达概率并求 (2