1马尔科夫链(陈).pptVIP

第十一章 马尔科夫链 11.1马尔科夫过程及其概率分布 马尔科夫过程 若随机过程{X(t)，t?T}对于任意的正整数n及 t1 t2…tn?T,其条件分布满足 P{X (tn)?xn| X(t1)=x1,…, X(tn-1)=xn-1} = P{X (tn) ? xn| X(tn-1)=xn-1 } 或写成 条件转移概率 对任意的正整数n,m和0≤t1 t2…tn m, ti ,n+m ?T1有 P{(Xn+m=aj| Xt1=ai1, Xt2=ai2 …, Xtr=air ,X m=ai } = P{(Xn+m=aj| X m =ai }, 其中ai? I。则称条件概率 Pij(m,m+n)=p{Xm+n =aj |Xm =ai} 为马氏链在时刻m,处于状态ai条件下，在时刻 m+n转移到状态aj的转移概率。 n步转移概率和n步转移概率矩阵 在马氏链为齐次的情形下，由上式定义的转移概率 称为马氏链的n步转移概率 ， 则矩阵 为n步转移概率矩阵。 一步转移概率 由它们组成