Markov链.pptVIP

第三章 Markov过程 第一节 Markov链的定义和例子 定义3.1 如果对任何一列状态 及对任何 ，随机过程 满足Markov性质： 则称 为离散时间Markov链。 定义3.2 设 为一离散时间Markov链。给定 在状态 时 处于 状态的条件概率 称为Markov链的一步转移概率，记作 。当这一概率与n无关时称该Markov链有平稳转移概率，并记之为 ，对应Markov链称为时齐Markov链。 记n步转移概率为 ，以 为元 的矩阵 记作 ，称为Markov链的n步转移概率矩阵。 定理3.1 Markov链的n步转移概率矩阵满足 ，在上式中我们定 。 例3.1（一维随机游动）设一质点在直线上的点集 上作随机游动，每秒钟发生一次游动，游动规则是：如果质点处于2，3，4点处，则在下一秒钟，质点均以的概率向左，右移动一单位或停留在原处；如果质点处于1处，则在下一秒钟以概率1移动到2处；如果质点处于5处，则在下一秒钟以概率1移动到4处．因为质点