马尔可夫过程.pptVIP

定理 5.3.11 设 是周期为 的不可约的齐次马尔可夫链，其状态空间 已被唯一地分解为 个互不相交的状态子集 之并.现仅在时刻 上考虑 即令 则：(1) 是以 为一步转移概率矩阵的新的齐次马尔可夫链;(2)对 而言，每个 都是不可约闭集，而且 中的状态都是非周期的; (3)如果{Xn, n=0,1,2,…}的所有状态皆为常返状态，那么{Yn, n=0,1,2,…}的所有状态也都是常返状态. 5.3 齐次马尔可夫链状态的分类 例 5.3.1 设状态空间S={0,1,2}的齐次马尔可夫链，它的一步转移概率矩阵为研究其各个状态间的关系以及状态类型. 5.3 齐次马尔可夫链状态的分类 解 由于 ，其中圈中的数字代表状态，箭头上的数字代表概率。于是可得到如图所示状态转移图.由于 ，由周期的定义可知，状态0是非周期的.由于三个状态互通，故该齐次马尔可夫链是不可约的，且只有三个状态，故三个状态都是正常返状态，从而都是遍历状态. 5.3 齐次马尔可夫链状态的分类 例 5.3.2 设状态空间 的齐次马尔可夫链，其一步转移概率矩阵为试分析其状态类型. 5.3 齐次马尔可夫链状态的分类 解 状态转移图如图所示.状态3可达状态1,2和4，但这三个状态不能可达状态3，故{3}是非常返状态集，闭集有两个{1,2}和{4},其中{4}是吸收状态集. 5.3 齐次马尔可夫链状态的分类 例 5.3.3 设{Xn, n=0,1,2,…}是一齐次马尔可夫链，状态空间S={1,2,3,4,5} ，其中一步转移概率矩阵为 试分析状态类型. 5.3 齐次马尔可夫链状态的分类 解 状态转移图如图所示.状态2,4可达状态1,3,5，但反过来不可达的，于是一旦离开状态集{2,4}就不可能回到状态2或4，所以{2,4}为非常返状态集，{1,3,5}是闭集. 5.3 齐次马尔可夫链状态的分类 例 5.3.4 设齐次马尔可夫链的状态空间S={0,1,2,3,4, 5,6,7,8} 其一步转移概率矩阵为  其中*表示一个正数.试分析状态类型. 5.3 齐次马尔可夫链状态的分类 解 由于p00=0，因此0是一个吸收状态，又p600,故6是非常返状态，从而可达状态6的状态7、8也是非常返状态，故D={6,7,8}是非常返状态集.状态1只可达2，同时2只可达1，所以{1,2}是周期为2的正常返状态集，可分解为J1 ={1}, J2 ={2}.{3,4,5} 是状态闭集，由于p440,因此其周期为1. 5.3 齐次马尔可夫链状态的分类 例5.3.5 设状态空间S={0,1,2,3}的齐次马尔可夫链，其一步转移概率矩阵为试对其状态进行分类. 5.3 齐次马尔可夫链状态的分类 解 状态转移图如下图所示.它是一个有限齐次马尔可夫链，所有状态都是互通的，所以所有状态均为常返状态，整个状态空间 S ={0,1,2,3} 构成一个不可约闭集. 5.3 齐次马尔可夫链状态的分类 例5.3.6 设齐次马尔可夫链的状态空间S={0,1,2,3,4}它的一步转移概率矩阵为试对其状态进行分类. 5.3 齐次马尔可夫链状态的分类 解 (1) 从一步转移概率矩阵可知状态2和3不能和其它状态互通，{2,3}组成一个闭集.如果过程初始就处于2状态或3状态，则过程永远处于2、3状态，故{2,3}是常返状态. (2) 状态4可转移到{0,1}状态，但0,1两个状态不能到达4状态，{0,1}组成一个闭集，并且0,1是常返状态，4是非常返状态. 5.3 齐次马尔可夫链状态的分类 例5.3.7 设齐次马尔可夫链的状态空间S={0,1,2,3}其一步转移概率矩阵为试分析过程的周期性. 5.3 齐次马尔可夫链状态的分类 解 状态转移图如图所示.四个状态可以分成{0,1}，{2,3}两个子集，该过程有确定性的周期转移.{0,1}→{2,3}→{0,1}→{2,3}→…显然它的周期d=2. 5.3 齐次马尔可夫链状态的分类 例 5.3.8 设齐次马尔可夫链的状态空间S={1,2,3,4,5,6,7,8}，其一步转移概率矩阵为 试研究过程的周期性. 5.3 齐次马尔可夫链状态的分类 解 状态转移图如图所示.八个状态可以分成四个状态子集