随机过程分析.pptVIP

随机过程 第5章 离散参数Markov过程 授课人：邵吉光 jgshao@bjtu.edu.cn 理学院数学系 2012年10月 目录 5.1 Markov链的基本概念 5.2 CK方程 5.3 Markov链的状态分类 5.4 闭集与状态空间的分解 5.5 转移概率的极限状态与平稳分布 一、状态分解 5.4 闭集与状态空间分解 1）闭集定义 注：不可约Markov链的所有状态属于同一等价类； 吸收态为单一闭集. 5.4 闭集与状态空间分解 2）闭集判定 注：自闭集C的内部，不能到达C的外部. 5.4 闭集与状态空间分解 注：从常返态只能到达常返态，则E中所有常返态组成一个闭集. 5.4 闭集与状态空间分解 3）分解定理 5.4 闭集与状态空间分解 注：D不一定是闭集；若E为有限集，则D一定是 非闭集. 5.4 闭集与状态空间分解 1 2 4 5 1/2 1 1/2 1 1 1/2 例5-12： 二、例子 3 1/2 5.4 闭集与状态空间分解 例5-13: （直线上的随机游动） 5.4 闭集与状态空间分解 5.4 闭集与状态空间分解 例5-15： 4 1 2 6 1/3 1 1/3 1 1/2 1/3 3 1 5 1 1/2 5.4 闭集与状态空间分解 5.4 闭集与状态空间分解 三、转移概率矩阵分解 5.4 闭集与状态空间分解 1）随机矩阵： 2