马尔可夫链要点.ppt

马尔可夫链的性质 P{X0=i0,X1=i1,?,Xn=in} =P{Xn=in|X0=i0,X1=i1,?,Xn-1=in-1} P{X0=i0,X1=i1,?,Xn-1=in-1}= P{Xn=in|Xn-1=in-1} P{Xn-1=in-1 |X0=i0,X1=i1,?,Xn-2=in-2} P{X0=i0,X1=i1,?,Xn-2=in-2} =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2} P{X0=i0,X1=i1,?,Xn-2=in-2} n步转移概率: i经过k步进入j,向右移了x步,向左移了y步 则 例 赌徒输光问题 甲有赌资a元，乙有赌资b元，赌一局输者给赢者1元，无和局。甲赢的概率为p,乙赢的概率为q=1-p，求甲输光的概率。 解 状态空间I={0,1,2,?,a+b} 同样方法得乙输光概率 例设马尔可夫链的状态空间I={1,2,?,9}，转移概率如下图 从状态1出发再返回状态1的可能步数为T={4,6,8,10,12,14,16 ?}，T的最大公约数为2，从而状态1的周期为2 解 状态转移图如下 ，首达概率为 例 设马氏链{Xn}的状态空间为