第五章 马尔科夫过程.ppt

(III) 是一切非常返态所构成,且 中的状态不可 能自 中的状态到达。 例5、设X是一个马氏链，状态空间为 转移概率矩阵为 试分析各状态类型并分解状态空间。 5.3 齐次马氏链状态类型的分类 解：由一步转移概率矩阵作出相应的转移概率图如下： 由图可知： c e a d b 其中 为正常返、非周期状态构成的闭集； 构成的闭集； 为非常返状态 5.3 齐次马氏链状态类型的分类 例6、设一齐次马氏链的状态空间为 概率矩阵为 其转移 其中*表示一个正数。试分析状态类型。 5.3 齐次马氏链状态类型的分类 解：由于 所以0是吸收态，又 故 6是非常返态，从而可达状态6的也是非常返态，故 状态1可达2，2可达1，故 {1，2} 是周 期为 2的正常返状态集。 {3，4，5}构成一个非周期 常返态闭集。 例7、设一齐次马氏链的状态空间为 其转 移概率图为 0 1 2 3 j 5.3 齐次马氏链状态类型的分类 (1)试写出P矩阵； (2)试写出该链为常返链的充分必要条件。 解：(1)由转移概率图可得： (2)由于本链的所有状态是互通的,只须确定其中一个状 态是常返态的条件即可,如状态0,可得 5.3 齐次马氏链状态类型的分类 欲使 其充分必要条件为 即 5.3 齐次马氏链状态类型的分类 5.4 转移概率的稳定性能 本目考虑 的情形。 若 设 是非常返态或零常返态，必有 1、转移概率的极限 以下讨论正常返态的情形。 令 表示系统从状态 出发，在某时刻 首次到达状态 的迟早概率，且 (1)有关定理 1)设 是正常返态，则 其中 是 是平均转回时间。 是不可约的齐次马氏链， 它的每一个状态都是正常返的，而且有周期 推论：设 状态空间被 唯一地分解成 则 5.4 转移概率的稳定性能 特别地，如果 则 2)设齐次马氏链 状态空间为S,如果 存在正整数 使 的一步转移概率矩阵 的 次幂 中的每个元素都大于零,则该链 是不可约的,而且 必存在,且此极限与初 状态 无关,记为 即有 若X是一个不可约的遍历链， 推论: 均有 5.4 转移概率的稳定性能 (2)极限分布 设C为互通的遍历状态构成的闭集,则 则 于是若马氏链是一个不可约的遍历链， 都有 且满足 故 构成一概率分布，称为马氏链的极限分布。 于是，不可约的马氏链为遍历链的充要条件为极限分布存在且唯一。 5.4 转移概率的稳定性能 2、平稳分布 (1)定义： 如果对任意时间 均有 称具有此性质的初始分布为 为马氏链的平稳 分布，并称此链为平稳的马氏链。 (2)初始分布为平稳分布的充要条件 初始分布 满足下列方程组 为平稳分布的充要条件是 5.4 转移概率的稳定性能 设 即 设 又 为一分布，故 证明对于任意时刻 有 5.4 转移概率的稳定性能 设 时刻有 成立 所以 为一平稳分布。 5.4 转移概率的稳定性能 设马氏链的平稳分布为 （未知）马氏 链的一步转移概率矩阵为 则上述方程组为 3、极限分布与平稳分布的关系 非周期不可约的马氏链，如果是正常返的，其充要条件是它的平稳分布存在，且该平稳分布就是极限分布。 例8、设状态空间为S={0，1，2}的马氏链，其一步转 移概率矩阵为 试求极限分布。 5.4 转移概率的稳定性能 解：由一步转移概率矩阵知，此链为不可约的遍历链， 故平稳分布存在，且就是极限分布，设极限分布为 满足 于是有 解之得 5.4 转移概率的稳定性能 例9、 设有状态空间S={0,1,2,…,6}的齐次马氏链,其一步转移 概率矩阵为 (1)试对S进行分类,并说明各状态的类型; (2)求平稳分布,其平稳分布是否唯一?为什麽? (3)求 5.4 转移概率的稳定性能 解: (1)由转移概率矩阵作出转移概率图如下: 4 5 6 0 1 2 3 其中 (2)由(1)知本链有三个不同的正常返状态的不可约闭集,故其平稳分布不唯一,并且具有无穷多个平稳分布。 每个状态都有闭路！ 5.4 转移概率的稳定性能 (3) 所以