随机过程马尔科夫过程.ppt

第四章

马尔可夫链

24.1马尔可夫链与转移概率定义设{X(t)，t?T}为随机过程，若对任意正整数n及t1t2?tn，P{X(t1)=x1,?,X(tn-1)=xn-1}0，且条件分布P{X(tn)?xn|X(t1)=x1,?,X(tn-1)=xn-1}=P{X(tn)?xn|X(tn-1)=xn-1}，则称{X(t)，t?T}为马尔可夫过程。☆若t1,t2,?,tn-2表示过去，tn-1表示现在，tn表示将来，马尔可夫过程表明：在已知现在状态的条件下，将来所处的状态与过去状态无关。

34.1马尔可夫链与转移概率马尔可夫过程通常分为三类：(1)时间、状态都是离散的，称为马尔可夫链(2)时间连续、状态离散的，称为连续时间马尔可夫链(3)时间、状态都是连续的，称为马尔可夫过程

44.1马尔可夫链与转移概率随机过程{Xn，n?T}，参数T={0,1,2,?},状态空间I={i0,i1,i2,?}定义若随机过程{Xn，n?T}，对任意n?T和i0,i1,?,in+1?I，条件概率P{Xn+1=in+1|X0=i0,X1=i1,?,Xn=in}=P{Xn+1=in+1|Xn=in}，则称{Xn，n?T}为马尔可夫链，简称马氏链。