马尔科夫链培训课程.pptVIP

定理 设齐次马氏链{Xn ,n≥ 1}的状态空间为I= {a1 ,a1 ,…,an }， p是它的一步转移概率矩阵，如果存在整数 m ，使对任意的a1 ,aj∈I，都有 Pij (m)0, i,j=1,2,…,N, 则此链具有遍历性；且有极限分布 ， 是方程组π=πP 或即 的满足条件 的唯一解 依照定理，为证有限链是遍历的，只需要找一正整数m，使m步转移概率矩阵 Pm无零元。而求极限分布π的问题，化为求解方程组的问题。注意，方程组中仅N-1个未知数，是独立的，而唯一解可用归一条件 确定。 第十一章 马尔科夫链 11.1马尔科夫过程及其概率分布 马尔科夫过程 若随机过程{X(t)，t?T}对于任意的正整数n及 t1 t2…tn?T,其条件分布满足 P{X (tn)xn| X(t1)=x1,…, X(tn-1)=xn-1} = P{X (tn)xn| X(tn-1)=xn-1 } 或写成 马尔科夫链 时间和状态都是离散的马尔科夫过称 为马尔科夫链，简称马氏链。记为 {Xn(t)=X(n)，n=0,1,2,…}.