第四章 马尔可夫链要点.pptVIP

第四章 马尔可夫链 1、马尔可夫性(无后效性) 有甲、乙两袋球,开始时甲袋有3只球,乙袋有 设{Xn, n?0}是齐次马尔可夫链,pij为转移概率, i,j?I,I={1,2,?}为状态空间,{pi, i ?I}为初始分布. 状态i的周期d： d=G.C.D{n:n≥1, 0} (最大公约数greatest common divisor) 如果d 1，就称i为周期的; 如果d =1，就称i为非周期的. 例5 设马尔可夫链的状态空间I={1,2,3,4}，转移概 率如下图 由状态i出发经n步首次到达j的概率(首达概率) 若fii=1，称状态i为常返的； 若fii1，称状态i为非常返的. 若?i ?，则称常返态i为正常返的; 若?i =?，则称常返态i为零常返的. 非周期的正常返态称为遍历状态. 如果存在n0,使 ,称自状态i可达状态j , 定理 若i?j ，则 (1) i与j同为常返或非常返,如为常返,则它们同 为正常返或零常返; (2) i与j有相同的周期. 例6 设马氏链{Xn}的状态空间I={0,1,2,?},转 移概率为 从而是遍历状态. 对于其它状态i,由于i?0,故也都是遍历状态.