《应用随机过程》课件5.4-Markov链状态分类-准备知识.pptVIP

应用随机过程 第5章 离散时间Markov链 目录 5.4 Markov链状态分类——准备知识 互通、互通等价类、首达时间、首达分解定理 * 状态分类的意义 主要研究马氏链的状态按其概率特性进行分类，并研究这些分类的判断准则. 1 2 4 3 1 1/3 1/3 1/3 1/3 1/3 1 1/3 观察得到： 状态2、3、4有进有出，而且经过有限次转移都能到达状态1；而一旦到达1后，则会永远停止在1上，不再转移出来；由此可见各状态的概率性质是不同的. * 可达 * 互通 * 命题5.1：可达关系与互通关系都具有传递性. 互通属性 * 互通等价类 * 首达时间 * * 首达概率 * 首达分解定理 可达等价性 *