马氏链(参考阅读内容).pptVIP

这是一个Markov链，不可约，存在平稳分布. 若干代后，达到一种平稳状态： 1.可数状态Markov链 3.1.1:定义与基本性质 一、无后效性 例3.1.6:无限制随机游动 一步转移矩阵： 3.1.2 首达时间和状态分类 如例3.1.8:带一个吸收壁的随机游动 1 除状态0外，其它任何状态相通（自然也可达）.任何状态均可达状态0，但状态0不可达其它状态. 例3.1.22:无限制随机游动。显然 所有状态都相通，对状态0有： 3.1.3 闭集与状态空间的分解 例3.1.31:带一个吸收壁的随机游动 1 其中状态0为正常返、非周期、遍历;其它状态均为非常返. 3.1.4 遍历定理 3.1.5.平稳分布 不可约链： (1)不可约零常返链; (2)不可约正常返链 例3.1.42:带一个反射壁的随机游动. q 从图形上看状态3，5的“收”“支”最简单，只有一条线. 从矩阵上看，第3行、第3列，第5行、第5列仅有一个非零元素.状态1、3、5构成一个基本常返闭集. 2 1,4,6 3,5 6 5 4 3 2 1 * * 应用随机过程