[工学]马尔可夫链.pptVIP

第四章 马尔可夫链 4 马尔可夫链 定义： 设 {X(t)，t ?T }为随机过程，若对任意正整数n及t1 t2?tn，P{X(t1)=x1,?, X(tn-1)=xn-1}0，且条件分布P{X(tn)?xn|X(t1)=x1,?, X(tn-1)=xn-1}= P{X(tn)?xn|X(tn-1)=xn-1}，则称{X(t)，t ?T }为马尔可夫过程。 若t1,t2,?,tn-2表示过去，tn-1表示现在，tn表示将来，马尔可夫过程表明：在已知现在状态的条件下，将来所处的状态与过去状态无关。 4 马尔可夫链 马尔可夫过程通常分为三类： (1)时间、状态都是离散的，称为马尔可夫链 (2)时间连续、状态离散的，称为连续时间马尔可夫链 (3)时间、状态都是连续的，称为马尔可夫过程 4.1 马尔可夫链与转移概率 随机过程{Xn，n?T }， 参数T={0,1,2,?},状态空间I={i0,i1,i2,?} 定义4.1 若随机过程{Xn，n?T }，对任意n?T和i0,i1,?,in+1 ?I，条件概率P{Xn+1=in+1|X0=i0,X1=i1,?,Xn=in} =P{Xn+1=in+1|Xn=in}， 则称{Xn，n?T }为马尔可夫链，简称马氏链。 4.1 马尔可夫链与转移概率 定义4.2 称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔可夫链{Xn，n?T }在时刻n的一步转移概率，简称转移概率，其中i,j?I。 定义4.3 若对任意的i,j?I，马尔可夫链{Xn,n?T }的转移概率pij(n)与n无关，则称马尔可夫链是齐次的，并记pij(n)为pij。 齐次马尔可夫链具有平稳转移概率， 状态空间I={1,2,3,?}，一步转移概率为 4.1 马尔可夫链与转移概率 转移概率性质 (1) (2) P称为一步转移概率矩阵 4.1 马尔可夫链与转移概率 马尔可夫链的性质 P{X0=i0,X1=i1,?,Xn=in} =P{Xn=in|X0=i0,X1=i1,?,Xn-1=in-1} P{X0=i0,X1=i1,?,Xn-1=in-1} = P{Xn=in|Xn-1=in-1} P{Xn-1=in-1 |X0=i0,X1=i1,?,Xn-2=in-2} P{X0=i0,X1=i1,?,Xn-2=in-2} =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2} P{X0=i0,X1=i1,?,Xn-2=in-2} 4.1 马尔可夫链与转移概率 =? =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2} ? P{X1=i1|X0=i0}P{X0=i0} 马尔可夫链的统计特性完全由条件概率P{Xn+1=in+1|Xn=in}确定。 4.1 马尔可夫链与转移概率 定义4.4 称条件概率 = P{Xm+n=j|Xm=i} 为马尔可夫链{Xn，n?T }的n步转移概率(i,j?I,m?0,n?1)。 n步转移矩阵 其中 4.2切普曼-柯尔莫哥洛夫方程及状态分类 定理4.1 设{Xn，n?T }为马尔可夫链，则对任意整数n?0,0?ln和i,j?I，n步转移概率 具有性质 (1) (2) P(n)=PP(n-1) (3) P(n)=Pn 4.2切普曼-柯尔莫哥洛夫方程及状态分类 证(1) 4.2切普曼-柯尔莫哥洛夫方程及状态分类 (2)矩阵乘法 (3)由(2)推出 说明： (1)此为C-K方程(切普曼-柯尔莫哥洛夫) (2) n步转移概率由一步转移概率确定， n步转移概率矩阵由一步转移概率矩阵确定(n次幂) 4.2切普曼-柯尔莫哥洛夫方程及状态分类 初始概率 绝对概率 初始分布 绝对分布 初始概率向量 绝对概率向量 4.2切普曼-柯尔莫哥洛夫方程及状态分类 4.2切普曼-柯尔莫哥洛夫方程及状态分类 例4.1 天气预报问题 RR表示连续两天有雨，记为状态0 NR表示第1天无雨第2天有雨，记为状态1 RN表示第1天有雨第2天无雨，记为状态2 NN表示连续两天无雨，记为状态3 p00=P{R今R明| R昨R今}=P{R明| R昨R今}=0.7 p01=P{N今R明| R昨R今}=0 p02=P{R今N明| R昨R今}= P{N明| R昨R今}=0.3 p03=P{N今N明| R昨R今}=0 4.2切