极限定理及平稳分布教材.ppt

随机数学 第12讲 极限定理及平稳分布 教师: 陈 萍 prob123@mail.njust.edu.cn 3.3 状态空间分解定理 3.4 极限定理及平稳分布 Markov链的大数定律 (*张) * * * * i 为瞬时态 i 为常返态 定理3.2.6 设马氏链的状态空间为E， (1) 对任意i, j?E，若 i?j，则它们同为常返态或瞬时态；而且当i, j是常返态时，i, j 同为正常返态或同为零常返态； (2) 不可约的有限齐次马氏链的状态都是正常返的。 定义3.2.7 如果集合{n :n≥1, 0}≠φ，称该数集的最大公约数d(i)为状态i的周期.若d(i)1，称i为周期的，若d(i)=1，称i为非周期的. 定义3.2.8 若状态 i为正常返态的且非周期的，则称i为遍历状态. 如果Markov链的所有状态都是遍历态,则称该Markov链是遍历的. 小结 相通、闭集、不可约 状态 常返 瞬时 正常返、 零常返 周期、 非周期 遍历 定理3.2.7 设马氏链的状态空间为E， i, j?E， （1）若 i ?E是一个周期态，且 i?j，则 j 也是周期态，且di= dj ； （2）若此链不可约，且对i ?E有pii 0，则此链是非周期链。 ? 任意Markov链的状态空间E可唯一分解为有限或可列个互不相交的子集之和 其中 N由全体瞬时态组成; 每个 或 是零常返或正常返态组成的不可约闭集; (3)每个 或 中的状态同类.它们有相同的周期,且 例3.4.1 设Markov链的转移矩阵为 (1) 试求状态1,2的n步首达概率并求 (2) 求Pn并考虑当 的情况. 解 (1) 同理 例3.4.1 设Markov链的转移矩阵为 (1) 试求状态1,2的n步首达概率. 例3.4.1 设Markov链的转移矩阵为 (2) 求Pn并考虑当 的情况. 取 从而 表明 定理3.4.1 若状态j是周期为d的常返态,则 推论3.4.1若状态j是常返态,则j是0常返态 极限定理 定理3.4.2 若j是瞬时态或零常返态, 则对任意i?S, 定理3.4.3 若j是正常返态且周期为d, 则对任意i及 ,有 推论 设{Xn}是不可约遍历链 ,则?i,j∈E 定义3.4.1 对于马氏链{X n，n ?0},概率分布 称为是平稳的,若 平稳分布与极限分布 定理 3.4.4 不可约Markov链是遍历链 ?对任意i, j?S，存在仅依赖于j 的常数?j，使得 ?j称为Markov链的极限分布. 且有 例3.3.2 设有6个车站,车站中间的公路连接情况如图.汽车每天可以从一个站驶向与之直接相邻的车站,并在夜晚到达车站留宿,次日凌晨重复相同的活动.设每天凌晨汽车开往临近的任一车站都是等可能的,试说明很长时间后,各站每晚留宿的汽车比例趋于稳定.求出这个比例以便正确地设置各站的服务规模. 1 2 5 3 6 4 P100 P100=P^100 P100 = 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 设Markov链{Xn}的状态空间S是由单一相通的常返类组成. 令f 是状态空间S上的实值函数, 表示过程第r次到达状态j的时间. 记 命题1 无论{Xn}的初始分布如何,随机变量{Z1, Z2,….}是独立同分布的. 命题2 设{Xn}是不可约正常返的Markov链, 无论初始分布如何,如果对平稳分布π,Eπ[|f(X1)]?, 则 在一计算系统中，每一循环具有误差的概率取决于先前一个循环是否有误差. 以0表示误差状态，以1表示无误差状态. 设状态的一步转移概率矩阵为 试说明相应齐次马尔可夫链是遍历的，并求其极限分布。 解 …… 根据定理3.2.3可得出结论：常返态平均被访问