随机过程Ch4课稿.ppt

第四章 马尔可夫链 4.1 马尔可夫链与转移概率 定义 设 {X(t)，t ?T }为随机过程，若对任意正整数n及t1 t2? tn， P{X(t1)=x1,?, X(tn-1)=xn-1}0，且条件分布 P{X(tn)?xn|X(t1)=x1,?, X(tn-1)=xn-1} = P{X(tn) ? xn|X(tn-1)=xn-1}， 则称{X(t)，t ?T }为马尔可夫过程。 ☆若t1,t2,?,tn-2表示过去，tn-1表示现在，tn表示将来，马尔可夫过程表明：在已知现在状态的条件下，将来所处的状态与过去状态无关。 4.1 马尔可夫链与转移概率 马尔可夫过程通常分为三类： (1)时间、状态都是离散的，称为马尔可夫链 (2)时间连续、状态离散的，称为连续时间马尔可夫链 (3)时间、状态都是连续的，称为马尔可夫过程 4.1 马尔可夫链与转移概率 随机过程{Xn，n?T }， 参数T={0, 1, 2, ?},状态空间I={i0, i1, i2, ?} 定义 若随机过程{Xn，n?T }，对任意n?T和i0,i1,?,in+1 ?I，条件概率P{Xn+1=in+1|X0=i0,X1=i1,?,Xn=in} = P{Xn+1=in+1|Xn=in}， 则称{Xn，n?T