第三章 马尔可夫链.docVIP

第三章 马尔可夫链 一、马尔可夫链的概念 马尔可夫过程是一类有重要应用意义的随机过程，它具有如下特征：随机过程‘将来’所处的状态仅与‘现在’所处的状态有关，而与‘过去’曾处于什么状态无关。 马尔可夫过程按其状态和时间参数是离散还是连续的可以分成三类 时间和状态都是离散的马尔可夫过程，称为马尔可夫链。 时间连续、状态离散的马尔可夫过程，称为连续时间的马尔可夫链。 时间和状态都连续的马尔可夫过程。 本章介绍马尔可夫链 定义1 设为随机序列，其状态空间为，如果对任意正整数n及任意n+2个状态，有 则称此随机序列为马尔可夫链。 若将时刻n称为‘现在’，将时刻n+1称为‘将来’，而把0，1，2，……，n-1称为‘过去’。定义中的等式便可通俗解释为：在已知 ‘现在’所处的状态条件下，‘将来’所要达到的状态与‘过去’所经历的状态无关，这一特性常称为马尔可夫的无后效性。 例1．一个n级数字传输系统，每一级的输入和输出信号只取0或1两个值，每一级的输出是下一级的输入；并假定当一级输入为0时，其输出为0和为1的概率分别为p和1-p;当输入为1时，其输出为1和0的概率分别为p和1-p（见图） ? 令Xn表示第n级输出，则{ Xn,n≥0}便为一个马尔可夫链。 例2．从1，2，……，N数字中任取一个数，记为X0；再从1，2，……，X0数字中任取一个数，记为X1；再从1，2，……，X1中任取一个数，记为X2；依此类推，在1，2，……，Xn-1中任取一个数，记为Xn。可以证明{ Xn,n≥0}为马尔可夫链。 事实上，{ Xn,n≥0}的状态空间为I={1，2，……，N}，对任意正整数n，取n+1个状态,由题意可知 故{ Xn,n≥0}为马尔可夫链。 二、转移概率 由马尔可夫链的无后效性和乘法公式有 由此可见，马尔可夫链的统计特性完全由条件概率 所确定，所以如何确定这个条件概率就显得非常重要，我们把这个条件概率称为一步转移概率。一般一步转移概率为，它表示系统在时刻n处于状态的条件下，到时刻n+1转移到状态的概率，记为。 定义2 称条件概率 为马尔可夫链在时刻n的一步转移概率。 一般，转移概率不仅与状态有关，而且与时刻n有关，但当它与时刻n无关时，表示马尔可夫链具有平稳转移概率，即与起点无关，此时我们称马尔可夫链是齐次的。 定义3 如果对任意的，马尔可夫链的转移概率与n无关，则称为齐次马尔可夫链，并记。 下面我们只讨论齐次马尔可夫链。 设P为一步转移概率所组成的矩阵，状态空间，称 P 为马尔可夫链的一步转移概率矩阵。 转移概率矩阵具有下面性质 （1）， （2）， 称具有上面两条性质的矩阵为随机矩阵。 下面给出n步转移概率的概念 定义4 称条件概率 ， 为马尔可夫链的n步转移概率，并称 P(n) 为马尔可夫链的n步转移概率矩阵。其中。 当n=1时，，规定 ，即为单位矩阵。 切普曼--柯尔莫哥洛夫方程 定理1 设为马尔可夫链，则对任意正整数n，，和状态，n步转移概率具有下列性质 （1）（切普曼—柯尔莫哥洛夫方程） （2） （3） （4） 证明 （1）利用全概率公式和马尔可夫性，有 （1）式是关于转移概率的一个重要结果，切普曼-柯尔莫哥洛夫方程（简称为C-K方程），直观上可以作如下解释：马尔可夫链{ Xn,n≥0}在时刻m处于状态，经过n步，即在时刻m+n转移到状态的过程可以视为它在时刻m处于状态，先经过步，即在时刻遍历所有状态，然后再经过步，即在时刻m+n转到状态的转移过程（见下图） ????????? C-K方程的矩阵形式为 当时，即为（3），再利用归纳法可证（4） 在（1）中令，得 这是一个递推公式，逐步递推可证（2） 例3（随机游动） 设质点在线段上做随机游动。（见图）。每隔一秒钟移动一步。当质点处于‘O’点时，必然要以概率1向右移动一步至‘1’点；当质点处于‘4’点时，下一步必然以概率1向左移动一步至‘3’点；当质点处于其它点时，下一步便均分别以概率 向左、向右或停留在原地不动。 令Xn表示n次移动后质点所处的位置。显然，{ Xn,n≥0}为一齐次马尔可夫链， 其状态空间为I={0，1，2，3，4} 试求{ Xn,n≥0}的一步和二步转移概率矩阵： ? 解：按题意可知 同样可求得其它转移概率 等等。 于是便得一步转移概率矩阵 二步转移概率矩阵便为 齐次马尔可夫链的有限维分布 ???1. 一维分布 定义5 设为齐次马尔可夫链，其状态空间为I，称下列一组概率 ， 为的初始分布，称为初始概率。将其写成向量形式为 ，称为初始概率向量。 定义6 设为齐次马尔可夫链，其状态空间为I，称下列一组概率 ， 为的绝对分布，称为绝对概率。将其写成向量形式为 ，称为绝对概率向量。 定理2 设为齐次马尔可夫链，则对任意和，绝