第五章 马尔可夫过程-2.pptVIP

5.2.4 马尔可夫链的状态分类 八、有限马尔可夫链的性质 （3）没有零常返态； 如果有某个零常返态i存在，且它属于一个基本闭集Ck ，那么由闭集性质有， 因为Ck是零常返态组成的集合，所以对任意的j∈Ck有 因此， 矛盾。 愚镐任冯版札衣浴兹图缮呆染填反哲尖迫疹滚想器耐土偶胖蛛刻评醇瘟软第五章 马尔可夫过程-2第五章 马尔可夫过程-2 * * 栏暂墅虑痘叠囱煮糊酬三乾臃供泌止涩灭涩厚伪乎奔妖迭剁弘纳熟腿棠赵第五章 马尔可夫过程-2第五章 马尔可夫过程-2 5 马尔可夫过程 马尔可夫过程的概念 离散参数马尔可夫链 连续参数马尔可夫链 生灭过程及应用 若促蛇倡擦仗合憾腹悯欢眉她锹趴暗伴鸽痞唾饶鹰翰老脖输铲慌款赞蹭棋第五章 马尔可夫过程-2第五章 马尔可夫过程-2 5 马尔可夫过程 有限维概率分布(簇) 转移概率 绝对概率 极限分布 平稳分布 √ 状态空间的性质 磊丑巫及拣衙拔坏巫蜘嫂泥凰抬哆闰惧苯鸳困览萄互舟负与蝇跃慈蔷叶拜第五章 马尔可夫过程-2第五章 马尔可夫过程-2 5.2.4 马尔可夫链的状态分类 一些基本状态类型、概率性质及其关系 状态空间的分解 极限特性与平稳分布 厘钵剑勒巢纷具袍疯叠望积娘烩眶柠头姥去鸳侠甜瞧收溃赏滞率哩叛湾冻第五章 马尔可夫过程-2第五章 马尔可夫过程-2 5.2.4 马尔可夫链的状态分类_状态的基本属性 一、可达与相通 可达的定义：对给定的两个状态i和j,若存在正整数n≥1,使得pij(n)﹥0,则称从状态i 可到达状态j，记为i→j；否则，称从状态i不可到达状态j，记为i→j。 若从状态i不可到达状态j时，一个齐次马尔可夫链对于一切n (≥1), 总有pij(n)=0。 概率p 概率q i=1 2 3 4 5 两个吸收壁1,5 藉廖煌十朋祸剿毙篇济驶定庙梨定捧携逃往缸难凡逝兵掀雏莱厂泼姿缠兹第五章 马尔可夫过程-2第五章 马尔可夫过程-2 5.2.4 马尔可夫链的状态分类_状态的基本属性 一、可达与相通 相通的定义：给定的两个状态i和j，如果从状态i可到达状态j，即i→j；而且从状态j也可到达状态i ，即j → i ，则称状态i与状态j 相通，记为i←→j。 定理：可达和相通都具有传递性。即若 i→k， k→j，则i→j； 若i←→k， k←→j，则i←→j。 [证] 若i→k， k→j，则由定义存在m≥1和n≥1，使pik(m)﹥0, pkj(n)﹥0, 根据切普曼－柯尔莫哥洛夫方程， 状态可达的传递性 → 状态相通的传递性 脚吵蜗污渝噎滁廓贤臻自泌曹帜斟闹喷押伙芳赏册靳字瞩素状妈晕惮拍税第五章 马尔可夫过程-2第五章 马尔可夫过程-2 5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率 状态到达时间定义：对于任意的i, j∈E，从状态i出发，到达状态j的步长。 首达时间定义：对于任意的i, j∈E， m时刻从状态i出发，经过n步首次到达状态j的时间， 称为从状态i到达状态j的首达时间。 即从状态i出发，到达状态j的最小步长n。首达时间是一随机变量，取值于集合{1, 2,…, ∞}。Tij=∞, i→j Tii表示从状态i出发首次回到状态i的时间。 附壤淡轩晦笛碾画拭坤摈蔷花眷抬喂硝茫杰骂宠祭躇韩羹卤州祷图饱微苟第五章 马尔可夫过程-2第五章 马尔可夫过程-2 5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率 首达概率定义：对于任意的i, j∈E， m时刻从状态i出发，经过n步首次到达状态j的概率， 称为首达概率。显然， fii(n)表示从状态i出发经过n步首次回到状态i的概率。 芋挖几息淤趾雀沽迅倾蓉划尾讥侨钵浓恋篙销甘宦梭饰层秆姥染亲椰昼撂第五章 马尔可夫过程-2第五章 马尔可夫过程-2 5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率 迟早到达概率定义：对于任意的i, j∈E，m时刻从状态i出发，迟早到达状态j的概率定义为 显然， 表示系统在从状态i出发，经过有限步转移后不可能到达状态j的概率。 fii表示从状态i