CH4马尔可夫过程 4.3-4.5上课.pptVIP

【研】2006/9/7：1，2节 (西)401；2006/9/12：3，4节 (西)401； * * 马尔可夫过程 * * CH4 马尔可夫过程 4.3 状态空间分解 * * 4.3 状态空间分解 4.3.1 等价类: 状态互通关系是一种等价关系，它满足： （1） 自反性： 因为规定， （2） 对称性：若 ，则 ； （3） 传递性：若 ，则 4.3 状态空间分解 同类：两个互通的状态。 等价类：彼此互通的所有状态构成的集合。同一个等价类中的所有状态都具有完全相同的特性。 从一个等价类出发，可能以正的概率到达另一个类，但无法 再返回，所以不同等价类的状态无法互通。 定理4.6 若 则 （1）i 与 j 或同为非常返态，或同为常返态； 若同为常返态，则i 与 j 或同为正常返态，或同为零态； （2）i 与 j 或有相同的周期，或同为非周期的。 * * 4.3 状态空间分解 定义4.14 设状态子集 ，若 都有 则称 C 为闭集。 若C 的任何真子集都不是闭集，则称 C 是不可约的（Irreducible）。 直观地讲，从闭集内部不能到达其外部，这意味着 马尔可夫链一旦进入某个闭集，就将永远滞留在其中。显然，吸收态可以构成一个单点的闭集；而整个状态 空间E 是最大的闭集。 4.3.2 状态空间分解 定义4.15 如果马尔可夫链的整个状态空间E 是不可约的，则称 它为不可约链。 * * 4.3 状态空间分解 定理4.7 若常返状态存在，则它们全体构成的集合是闭集。 设所有常返态构成的闭集为C，若 ，则它可以 表示为， 其中各个子集 Ci 是互不相交的闭集，各个 Ci 内的状态彼此互通。构造上述表示式的方法为： * * 4.3 状态空间分解 定理4.8 （状态分解定理）状态空间 E 可唯一地分 解为 其中， 为基本常返闭集，T 为所有非常返态 的集合。 定理4.9 有限状态的马尔可夫链必有正常返态，可能有非常返态（但不构成闭集），没有零常返态。 例：设有三个状态(0,1,2)的马尔可夫链，它的一步转移概率矩阵如下，研究其各状态间的关系。 ????? ????? ??? 三个状态均相通，该链是不可约的，所有状态均为遍历态。 4.3 状态空间分解 0 1 2 2 1 2 1 2 1 4 1 3 1 4 1 3 2 解： 容易发现：不可约链中所有的状态必定居于同一个等价类中。 * * 4.3 状态空间分解 例4.13 设马尔可夫链有五个状态 E = { 1, 2, 3, 4, 5} ，其状态转移矩阵为 试找出等价类，判断各状态类别，并进行状态分解。 解： 该马尔可夫链状态有限，其状态转移图如下图 。 * * 4.3 状态空间分解 根据状态的互通可得三个等价 类{1, 2}，{3} 与{4, 5}。 其状态空间可以分解为，E =TUC= {1, 2} U {3} U {4, 5}。 该马尔可夫链状是可约的。 互通， 不构成闭集， 非常返态 吸收态， 遍历态。 互通， 构成闭集， 正常返态。 所有常返态构成的闭集为C=C1UC2= {3} U {4, 5} 容易发现：等价类不一定是闭集，闭集中的每个状态也不一定等价。 但每个常返类必定是闭集。 * * 4.3 状态空间分解 互通， 不构成闭集， 非常返态 吸收态， 遍历态。 互通， 构成闭集， 正常返态。 注意 T 不一定是闭集，特别是当 E 有限时， T 就必定 不是闭集。如果马尔可夫链 的初始状态位于T 上，则它可能在某个时刻后离开T 进入某个 Ci 中，而不再出来，这时 Ci 就是它稳态时的状态空间；如果初始状态位于某个常返闭集 Ci 中，则它以概率 1永远在其中运动；这时 可以看作状态空间仅为 Ci 的不可约马尔可夫链。 例：设有四个状态（0，1，2，3）的马尔可夫链，其一步转移概率矩阵入下，画出状态转移图，分析其状态。 4.3 状态空间分解 4个状态均相通，该链为不可约链。各状态的转移过程为： {0,1}?{2,3}?{0,1}?{2,3} 周期为2 所有状态均为有周期正常返态。 * * CH4 马尔可夫过程 4.4 遍历性、极限分布与平稳分布