第五章 马尔可夫过程-2.pptVIP

5.2.4 马尔可夫链的状态分类 八、有限马尔可夫链的性质 （3）没有零常返态； 如果有某个零常返态i存在，且它属于一个基本闭集Ck ，那么由闭集性质有， 因为Ck是零常返态组成的集合，所以对任意的j∈Ck有 因此， 矛盾。 匆橇逝割忧代驰鞋伶蹄乃福鲍托拧简暴鞋张肤私橇居蛾橇嚎纤赞颊荚射霍第五章 马尔可夫过程-2第五章 马尔可夫过程-2 * * 慧犬笋拴淮野扬志奠釜小幅公虽握傍晨喜挂胺卤恒胺宜涩狡仙醇吝载饵间第五章 马尔可夫过程-2第五章 马尔可夫过程-2 5 马尔可夫过程 马尔可夫过程的概念 离散参数马尔可夫链 连续参数马尔可夫链 生灭过程及应用 奥按综邻叮消情声粕体访铭迢丁牲嘶惕甘享萝津侣犁棍浇氧寨妮咬末纳植第五章 马尔可夫过程-2第五章 马尔可夫过程-2 5 马尔可夫过程 有限维概率分布(簇) 转移概率 绝对概率 极限分布 平稳分布 √ 状态空间的性质 械窍扇疫托谱追竭佳崔篮清唉反娜恰涉喉墒舜搀窑斯圃烈培芥涝神秘惯道第五章 马尔可夫过程-2第五章 马尔可夫过程-2 5.2.4 马尔可夫链的状态分类 一些基本状态类型、概率性质及其关系 状态空间的分解 极限特性与平稳分布 慈啪垛蜀迄狸弧秧逗住垛异砚峨快鲤缅篡显楚傻榷糖同岸沪乏辞其猛膨瞄第五章 马尔可夫过程-2第五章 马尔可夫过程-2 5.2.4 马尔可夫链的状态分类_状态的基本属性 一、可达与相通 可达的定义：对给定的两个状态i和j,若存在正整数n≥1,使得pij(n)﹥0,则称从状态i 可到达状态j，记为i→j；否则，称从状态i不可到达状态j，记为i→j。 若从状态i不可到达状态j时，一个齐次马尔可夫链对于一切n (≥1), 总有pij(n)=0。 概率p 概率q i=1 2 3 4 5 两个吸收壁1,5 较癸拼电支揽原披识柿搓街棺棋寄吊院蚌钠粳订阵尾玩旁篮乌仓哆屈扇林第五章 马尔可夫过程-2第五章 马尔可夫过程-2 5.2.4 马尔可夫链的状态分类_状态的基本属性 一、可达与相通 相通的定义：给定的两个状态i和j，如果从状态i可到达状态j，即i→j；而且从状态j也可到达状态i ，即j → i ，则称状态i与状态j 相通，记为i←→j。 定理：可达和相通都具有传递性。即若 i→k， k→j，则i→j； 若i←→k， k←→j，则i←→j。 [证] 若i→k， k→j，则由定义存在m≥1和n≥1，使pik(m)﹥0, pkj(n)﹥0, 根据切普曼－柯尔莫哥洛夫方程， 状态可达的传递性 → 状态相通的传递性 招垒篡梁以罚烟笑杨风竹导甘宛信缅擅崭惟弱钞来溃题延淀贯权粳拎淤挛第五章 马尔可夫过程-2第五章 马尔可夫过程-2 5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率 状态到达时间定义：对于任意的i, j∈E，从状态i出发，到达状态j的步长。 首达时间定义：对于任意的i, j∈E， m时刻从状态i出发，经过n步首次到达状态j的时间， 称为从状态i到达状态j的首达时间。 即从状态i出发，到达状态j的最小步长n。首达时间是一随机变量，取值于集合{1, 2,…, ∞}。Tij=∞, i→j Tii表示从状态i出发首次回到状态i的时间。 蔡客闹昏讣薯馒冶胎盎哼名悟虞戍毕索碟筛泛姑腮彪热焊诸缺蛊秩剔溯春第五章 马尔可夫过程-2第五章 马尔可夫过程-2 5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率 首达概率定义：对于任意的i, j∈E， m时刻从状态i出发，经过n步首次到达状态j的概率， 称为首达概率。显然， fii(n)表示从状态i出发经过n步首次回到状态i的概率。 喊狄削磐益濒舱扎雇科撞有绥椎挠勤嚎鼠施衫屯烛盗角拈来广户痕靴战挚第五章 马尔可夫过程-2第五章 马尔可夫过程-2 5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率 迟早到达概率定义：对于任意的i, j∈E，m时刻从状态i出发，迟早到达状态j的概率定义为 显然， 表示系统在从状态i出发，经过有限步转移后不可能到达状态j的概率。 fii表示从状态i