第04章 马尔可夫链S.ppt

马尔可夫链的性质 P{X0=i0,X1=i1,?,Xn=in} =P{Xn=in|X0=i0,X1=i1,?,Xn-1=in-1} P{X0=i0,X1=i1,?,Xn-1=in-1}= P{Xn=in|Xn-1=in-1} P{Xn-1=in-1 |X0=i0,X1=i1,?,Xn-2=in-2} P{X0=i0,X1=i1,?,Xn-2=in-2} =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2} P{X0=i0,X1=i1,?,Xn-2=in-2} n步转移概率: i经过k步进入j,向右移了x步,向左移了y步 则 例 赌徒输光问题 甲有赌资a元，乙有赌资b元，赌一局输者给赢者1元，无和局。甲赢的概率为p,乙赢的概率为q=1-p，求甲输光的概率。 解 状态空间I={0,1,2,?,a+b} 同样方法得乙输光概率 例设马尔可夫链的状态空间I={1,2,?,9}，转移概率如下图 从状态1出发再返回状态1的可能步数为T={4,6,8,10,12,14,16 ?}，T的最大公约数为2，从而状态1的周期为2 解 状态转移图如下 ，首达概率为 例 设马氏链{Xn}的状态空间为 I={0,1,2,?}，转移概率为 考察状态0的类型 可得出0为正常返的 由于 ，所以0的周期为d=1 0为非周期的，从而为遍历状态 对于其它状态i,由于i?0,所以也是遍历的 例 对无限制简单随机游动 由斯特林近似公式 可推出 (1)当且仅当p=q=1/2时，4pq=1 状态i是常返的 状态i是零常返的 (2)当且仅当p?q，4pq1 状态i是非常返的 例4.15 设马尔可夫链的转移概率矩阵为 求马尔可夫链的平稳分布及各状态的平均返回时间。 解 因为马尔可夫链是不可约非周期有限状态的，所以平稳分布存在，设? =(?1, ?2, ?3 )，则? = ? P，?1+?2+?3=1即 各状态的平均返回时间为 4.3 状态空间的分解 定义 状态空间I 的子集C如对任意i?C及k?C有pik=0则称为闭集; 闭集C的状态互通则称为不可约的。 引理4.3 C是闭集的充要条件为对i?C及k?C都有 例 设马氏链{Xn}的状态空间为I={1,2,3,4,5}，转移概率矩阵为 状态3是吸收的，故{3}是闭集，{1,4}，{1,3,4}，{1,2,3,4}都是闭集，其中{3}，{1,4}是不可约的。I含有闭子集，故{Xn}不是不可约的链。 定理 任一马氏链的状态空间I,可唯一地分解成有限个或可列个互不相交的子集D,C1,C2,?之和，使得： (1)每一Cn是常返态组成的不可约闭集； (2)Cn中的状态同类型，或全是正常返，或全是零常返，它们有相同的周期，且fij=1，i,j?Cn； (3)D由全体非常返态组成，自Cn中状态不能到达D中的状态。 解 由状态转移图知 可见1为正常返状态且周期 为3，含1的基本常返闭集为 C1={k:1?k}={1,3,5}， 从而状态3及5也为正常返状态且周期为3。 同理可知6为正常返状态，?6=3/2，周期为1。含6的基本常返闭集为 C2={k:6?k} ={2,6}，可见2，6为遍历状态。 定义 称矩阵A=(aij)为随机矩阵，若 显然k步转移矩阵 为随机矩阵。 定理 周期为d的不可约马氏链，其状态空间C可唯一地分解为d个互不相交的子集之和，即 且使得自Gr中任一状态出发，经一步转移必进入Gr+1中(Gd = G0)。 注：任取一状态i，对每一r=0,1,?,d-1定义集 例4.13 设不可约马氏链的状态空间为C={1,2,3,4,5,6}，转移矩阵为 由状态转移图可知各状态的周期d=3, 固定状态i=1，令 故C=G0∪G1∪G2 ={1,4,6}∪{3,5}∪{2} 此在C中 的运动如下图所示。 定理 设{Xn,n?0}是周期为d的不可约马氏链，则在定理4.10的结论下有 (1)如只在0,d,2d,?上考虑{Xn}，即得一新马氏链{Xnd} ，其转移矩阵 ，对此新链，每一Gr是不可约闭集，且Gr中的状态是非周期的； (2)如原马氏链{Xn}常返，则新马氏链{Xnd}也常返。 例4.14 设{Xn}为例4.13中的马氏链，已知d=3，则{Xnd,n?0}的转移矩阵为