随机过程5(4.4)-（一）.pptVIP

0 4 6 1 3 2 5 例5 甲乙两人进行某种比赛，设每局比赛中甲胜的概率为 , 乙胜的概率为为 , 平局的概率为 , 其中， 设每局比赛后，胜者的1分，负者的-1分，平局不计分，当两人中有一人得2分时比赛结束，以 表示比赛至第 局时甲获得的分数，则是一齐次马氏链 （1）写出状态空间； （2）写出一步转移概率矩阵； （3）求在甲获得1分的情况下，再赛2局甲胜的概率 一个航空订票系统有两台相同的计算机，每天至多使用其中的一台机器。工作着的机器在一天内损坏的概率为p,只有一个修理工，他一次只能修理一台机器，且要花两天时间才能修复。当一台机器损坏后，当天即停止使用。如果另一台是好的，第二天就使用这台好的，而修理那台坏的(以一天为一个时间单位).系统状态可以用数对(x,y)表示，x是一天结束时仍旧没有损坏的台数，而当损环的计算机已被修理工修理了一天时，y取1，其它情况y取0。 (1)试说明该系统是齐次Markov链；(2)求其一把转移概率矩阵；(3)求在已知今天结束时两台机器都没有损环的条件下，后天结束时两台机器仍没有损坏的概率。 作业: 2, 4, 8, 9, 11.(2), (4), 12, 13.(1),(4), 19. 引例 考虑只有0,1两个状态的齐次马氏链，其转移概率矩阵为： 0 1 对状态0,T0有分布 另一方面 例1：设齐次马尔科夫链X={Xn, n≥0}的状态空间S={1,2,3,4}，一步转移概率矩阵为 讨论极限 是否存在，若存在是否与初始状态i有关. §4 转移概率的极限与稳态性能 问题 马尔可夫链是否具有统计意义下的稳态性,即要回答以下问题? 当 时, 转移概率数列 是否收敛? 若 存在,此极限是否与初始状态i无关? (3)在怎样的条件才能保证 存在且与初始状态i无关? 1. 转移概率的极限 由已有知识可知 但! 又由已有知识可知 那么,如何讨论 ? ? ? 由周期链的性质得到启发 我们讨论 定理1 设j是正常返状态，则 其中 是j的平均转回时间. 证明 结论设 其中D为非常返状态 集， 为零常返状态集， 为正常返 状态闭集，则 定义 设 是一个马尔可夫链，如果 构成一概率分布，称为马尔可夫链 的极限分布. 是什么呢？ 如果马氏链是不可约遍历链，则对任意的i, j有 故： 从而不可约遍历链转移概率的极限存在，且与初始状态无关. 进一步有以下定理，给出不可约遍历链的转移概率的极限与极限分布的关系. 且此极限值是线性方程组 满足条件 定理6.4.2 设齐次马尔可夫链 是不可约的遍历链，则 的唯一解。 证明 对任意的j ∈ S ,由（6.30）式得 m=1时，自然有 例 1 设状态空间为S={0,1,2,}的马尔可夫链, 其一步 转移概率矩阵为 试求它的极限分布 解 易知此链为不可约遍历链. 故极限分布 结论 不可约马尔可夫链是遍历链的充要条件 是极限分布存在且唯一. 2 平稳分布 定义 称概率分布 是转移概率矩阵为 的马尔可夫链的一个平稳分布.如果 说明 若齐次马尔可夫链有一个平稳分布: 定理6.4.3 设 是齐次马尔可夫链 的一个平稳分布，如果取 为 的初始分布，即 (1) 则对任意的正整数n，都有 (2)并且对任意的正整数n，m,以及 证明 说明了 若链有平稳分布,且以它作为初始分布,则其绝对 分布是确定的,保持不变.且该链是严平稳的序列. 对一个齐次的马尔可夫链是否存在平稳分布??? 一个重要的问题: 如果存在,是否唯一???? 如何计算????? 在特殊情况下,回答上述问题,即定理(5.4.)6 定理6.4.4 设 特别的，若S 中的每个状态都是遍历状态，则 且此时的平稳分布就是极限分布. 平稳分布通过 求解右方程组 其次 对一般的马尔可夫链,如果不是不可约,则极限分布一定不存在. 平稳分布可能存在,也可能不存在. 若存在,可能不唯一(有无穷多个) 有定理(6.4.5) 定理6.4.5 设 其中D是 非常返状态集，C0是零常返状态集， 是正常返状态的不可约闭集， 为齐次马尔可夫链的平稳分布的 充要条件是存在非负数列 推论 对于齐次马尔可夫链 (1) 其平稳分布存在的充要条件是存在正常返状态的 不可约闭集.等价地,不存在平稳分布的充要条件是 H=Φ (2) 存在唯一的平稳分布的充要条件是恰有一个正常