随机过程 第5-6讲.docVIP

中科院研究生院 2010～2011 第一学期 随机过程讲稿 孙应飞 第二章 Markov 过程 4. 马尔可夫链状态的分类 （六）闭集和状态空间的分解 定义：设C 是状态空间 S 的一个子集，如果从C 内任何一个状态i 不能到达 C 外的任何状态，则称C 是一个闭集。如果单个状态i 构成的集{i}是闭集，则 称状态i 是吸收态。如果闭集C 中不再含有任何非空闭的真子集，则称C 是不可 约的。闭集是存在的，因为整个状态空间 S 就是一个闭集，当 S 不可约时，则 称此马氏链不可约，否则称此马氏链可约。 有关的性质： （1）C 是闭集 ? pi = 0 , ?i∈C, j?C ? pi( = 0 (n ≥1) , ?i∈C, j?C ； n) j j （2）C 是闭集 ? pi = ?i∈C ∑ 1, ； j j∈C （3）i 为吸收态 ? p =1； i i （4）齐次马氏链不可约 ? 任何两个状态均互通； （5）所有常返态构成一个闭集； （6）在不可约马氏链中，所有状态具有相同的状态类型； 定义：对i∈S ，若正整数集{ ; 1, 0} n n ≥ p( 非空，则定义其最大公约数 n) i i 为状态i 的周期，记为 d ，当 d =1时，称该状态无周期。 i i 定义：称非周期正常返状态为遍历态。 注意：一个不可约的、非周期的、有限状态的马氏链一定是遍历的。 （七）常返、非常返、周期状态的分类特性 设i ? j ，则i 和 j 或者都是非常返态，或者都是零常返态，或者都是正常 中科院研究生院 2010～2011 第一学期 随机过程讲稿 孙应飞 返非周期的（遍历），或者都是正常返有周期的且有相同的周期。 状态 ?非常返态 ? ? ? 零常返态 ? ? ? 常返态 ? 正常返态 ? ? ? ? ?有周期 ? 非周期（遍历态） ? （八）周期状态的判别 （1） 按互通性将状态分类后，在同一类集合中选一个状态判别其周期性即可。 （2） 如有正整数 n ，使得 ( ) 0 , ( 1) 0 ，则状态 无周期。 pi n p n+ i i i i （3） 如有正整数m，使得 m步转移概率矩阵 Pm 中相应某状态 j 的那一列元素 全不为零，则状态 无周期 j （九）分解定理 （1） 齐次马氏链的状态空间 S 可唯一地分解为有限多个或可列多个互不相交 的状态子集 D , , ,L之并，即有 U U UL C 1 C S = D C 。 1 C 2 2 其中：D 是非常返态集，每个C , n =1,2,L 均是由常返状态组成的不可 n 约集，其中的状态互通，因此C n = L , 1, 2, 中的状态具有相同的状态类 n 型：或者均为零常返；或者均为正常返非周期（遍历）；或者均为正常返 有且有相同的周期；而且对于 ∈ n , f =1 i , j C 。 i j （2） （周期链分解定理）一个周期为 d 的不可约马氏链，其状态空间 S 可以 分解为 d 个互不相交的集 1 ,L J 之并，即有： J , J , 2 d S = d U r=1 Jr , J I J = ? , k ≠ l k l , 且 ∑ p i j∈J r +1 j =1, i∈ J , r r =1, 2, L 其中约定 r = 。 J 1 J + 1 中科院研究生院 2010～2011 第一学期 随机过程讲稿 孙应飞 （3） 基于上面的（1），我们将状态空间 S 中的状态依 D , C L的次序从 1 , C , 2 新排列，则转移矩阵具有以下的形式 P = ? ? ? ? ? ? ? P D P D 1 P 1 P D 2 P 2 L O ? ? ? ? ? ? ? D C 1 C 2 M 其中 均为随机矩阵，他们对应的链是不可约的。称以上形式的 P1 P , L , 2 转移矩阵为标准形式。 （十）有限马氏链的性质 （1） 所有非常返状态组成的集合不可能是闭集； （2） 没有零常返状态； （3） 必有正常返状态； （4） 不可约有限马氏链只有正常返态； （5） 状态空间可以分解为： S D U C U C ULU = 1 2 C k 其中：每个Cn , =1,2,L, 均是由正常返状态组成的有限不可约闭集， n k D 是非常返态集。 （十一）例子 例 1 设有三个状态{0,1, 2}的齐次马氏链，它的一步转移概率矩阵为： P = 1/ 2 1/ 2 ? ? ? ? 0 ? 1/ 2 4 1/ 1/ 3 0 ? ? 1/ 4 ? ? 2/3 ? 试研究其状态关系。 例 2 设有四个状态{0,1, 2, 3}的齐次马氏链，它的一步转移概率矩阵为： 中科院研究生院 2010～2011 第一学期 随机过程讲稿 孙应飞 P = ? ? ? ? ? ? ?