第四章马尔可夫链材料.pptVIP

第四章 马尔可夫链 1、马尔可夫性(无后效性) 有甲、乙两袋球,开始时甲袋有3只球,乙袋有 设{Xn, n?0}是齐次马尔可夫链,pij为转移概率, i,j?I,I={1,2,?}为状态空间,{pi, i ?I}为初始分布. 状态i的周期d： d=G.C.D{n:n≥1, 0} (最大公约数greatest common divisor) 如果d 1，就称i为周期的; 如果d =1，就称i为非周期的. 例5 设马尔可夫链的状态空间I={1,2,3,4}，转移概 率如下图 由状态i出发经n步首次到达j的概率(首达概率) 若fii=1，称状态i为常返的； 若fii1，称状态i为非常返的. 若?i ?，则称常返态i为正常返的; 若?i =?，则称常返态i为零常返的. 非周期的正常返态称为遍历状态. 如果存在n0,使 ,称自状态i可达状态j , 定理 若i?j ，则 (1) i与j同为常返或非常返,如为常返,则它们同 为正常返或零常返; (2) i与j有相同的周期. 例6 设马氏链{Xn}的状态空间I={0,1,2,?},转 移概率为 从而是遍历状态. 对于其它状态i,由于i?0,故也都是遍历状态. 状态空间I 的子集C称为闭集,如对任意i?C 及k?C都有pik=0; 如果闭集C的状态互通,称C为不可约的; 如果马氏链{Xn}的状态空间不可约,称其为不 可约的. 例7 设马氏链{Xn}的状态空间为 I={1, 2, 3, 4, 5}， 转移概率矩阵为 任一马氏链的状态空间I,可唯一地分解成有限 个或可列个互不相交的子集D,C1,C2,?之和，使得： (1) 每一Cn是常返态组成的不可约闭集； (2) Cn中的状态同类型,或全是正常返,或全是零常 返,它们有相同的周期,且fij=1,i,j?Cn； (3) D由全体非常返态组成,自Cn中状态不能到达D中 的状态. 例8 马氏链的状态空间I ={1,2,3,4,5,6},转移概率矩阵 于是I 可分解为 I=D∪C1∪C2 状态的可达与互通 并记为 如果 则称i与j 互通， 记为 注：可达关系与互通关系都具有传递性 (1) 若i?j , j?k ,则i?k ; (2) 若i?j , j?k ,则i?k . 1 2 3 4 试讨论各状态的常返性和周期性. 解：根据题意作出状态转移图如下 可见0是正常返态. 所以0为非周期的， 对互通状态的识别，只需对最简单的状态判断即可. 三、状态空间的分解 注:(1) 闭集的意思是自C的内部不能到达C的外部; (2) 如果pii=1,则称状态i为吸收的. 定义： 状态3是吸收的,故{3}是闭集; {1,4},{1,3,4},{1,2,3,4} 其中{3},{1,4}是不可约的; I含有闭子集,故{Xn}不是不可约的链. 都是闭集, 由于自常返态只能到达常返态,因此I中全体常返 态组成一闭集C,在C中根据互通关系可进一步分类. 分解定理： 其中Cn是由常返态组成的不可约闭集,称为 基本常返闭集. 试分解此链并指出各状态的常返性及周期性. 同理对状态6： 解: 由状态转移图知 又状态3、5和1互通， C1={1,3,5}. 故状态3与5也是周期为3的 可见1为正常返态且周期为3; 正常返态,包含1的基本常返闭集为 故f11=1, 故f66=1, C2={2,6}. 非周期的正常返态， 因此状态6为 即遍历态,又状态2和6互通， 故状态2也是遍历态， 包含6的基本常返闭集为 ={4}∪{1,3,5}∪{2,6} 从而 4是一个非常返态. * 基础部张守成 * 基础部张守成 一、马尔可夫链的定义和转移概率 当已知随机过程在时刻 所处的状态的条件下, 过程“将来”的情况和“过去”的情况无关. 过程在t(ti)所处的状态与过程在时刻ti以前所处的 这种特性称为马尔可夫性或 “无后效性”. 具有马尔可夫性的随机过程称为马尔可夫过程. 状态无关, 参数和状态都是离散的马尔可夫过程称为马尔 可夫链, 2、马尔可夫链的定义和转移概率 马氏链的马尔可夫性可具体描述为： Pij表示处于状态i的过程下一步转移到状态j的概率. Pij称为一步转移概率，由所有的一步转移概率构成 的矩阵 称为一步转移概率矩阵. 显然有 具有这种平稳转移概率的马尔可夫链称为齐次的 例1 一维