第四章马尔可夫链讲稿.pptVIP

第四章马尔可夫链讲稿第1页，共18页，星期日，2025年，2月5日计算公式显然有定义设为一马氏链，对任一状态i与j，称经有限步（迟早）到达状态j的概率。为自状态i出发定义如果，则称状态i是常返的。如果，则称状态i是非常返的（或称为瞬时的）。如果马尔可夫链的任一状态都是常返的，则称此链为常返马尔可夫链。第2页，共18页，星期日，2025年，2月5日定义设i是一常返态，则从i出发可经过n步首次返回i，在的条件下的分布列为12…nP………由数学期望的定义，可得称为状态i的平均返回时间。定义设i是常返态，如果，则称状态i是正常返态；如果,则称状态i是零常返态。如果状态i是非周期且正常返的，则称状态i是遍历的。第3页，共18页，星期日，2025年，2月5日定理对任何状态，有证明：因为第4页，共18页，星期日，2025年，2月5日定理状态i是常返（）的充要条件为系：如果状态i是非常返的充要条件是系：如果i是常返态，则（1）i零常返当且仅当（2）i遍历当且仅当定理：设i为常返状态，有周期,则此时有第5页，共18页，星期日，2025年，2月5日马氏状态分类图状态分类判别法：（1）i非常返（2）i零常返且且（4）i遍历且（3）i正常返第6页，共18页，星期日，2025年，2月5日二、马氏链中的状态关系定义（可达）：如果对于状态i和j,总存在某个，使得，则称自i状态经过n步可以到达j状态，并记为反之，若对所有的有，则自i状态不可以到达j状态，并记为可达具有传递性，即若,,则证明:由知，存在使得再由C-K方程可知，因此可达与互通第7页，共18页，星期日，2025年，2月5日例设一两状态马氏链具有以下转移概率矩阵解：要讨论这一马氏链两个状态的可达性，可先求出它的n步转移概率矩阵。由于对于所有的n,，故状态“1”不能到达状态“0”；而存在n使得故状态“0”可以到达状态“1”。讨论其状态的可达特性。注：此题画状态转移图更直观第8页，共18页，星期日，2025年，2月5日定义（互通）：若自状态i可达状态j，同时自状态j也可达状态i，则称状态和状态互通，记为互通是一种等价关系，即满足：（1）若，则,自返性（2）若，则，对称性（3）若，，则，传递性我们把任何两个互通的状态归为一类。然后定义：定义若Markov链只存在一个类，就称它是不可约的；否则称为可约的。第9页，共18页，星期日，2025年，2月5日例无限制的随机游走问题。考虑一个质点在直线上作随机游走．如果在某一时刻质点位于i,则下一步质点将以概率向前游走一步到达i+1处，或以概率向后游走一步到达i-1处。现规定，这一质点只能“向前”或“向后”游走一步，并且经过一个单位时间它必须“向前”或“向后”游走。讨论其状态的互通性。解：如果以表示n时刻质点的位置，则是一个随机过程。而且，当时，等在时刻n后质点所处的状态仅与有关，而与质点在时刻n以前是如何到达i的无关．故它是一个齐次马尔可夫链。状态空间，一步转移概率为从而一步转移概率矩阵为第10页，共18页，星期日，2025年，2月5日下面求n步转移概率如在n次转移的结果是从i到j,n次转移中恰好向前游走m次，向后游走k次，则有联立上两式求解可得