随机过程第七讲.docxVIP

7马尔可夫链马尔可夫链的概念及转移概率马尔可夫链的状态分类状态空间的分解pij(n)的渐近性质与平稳分布马尔可夫链时间、状态都离散马尔可夫序列时间离散、状态连续连续时间马尔可夫过程时间连续、状态离散连续马尔可夫过程(或扩散过程)时间、状态都连续7.1马尔可夫链的概念及转移概率［定义］设有随机过程｛Xn,neT｝，若对于任意的整数neT和任意的i°,七，…浦4，条件概率满足°P{X=iX=i,X=i,,X=i} n+1n+10011nn=P{Xn+1=i+JXn=X=i,X=i,X=i}??nn=,,X=i}“°=七X1= X=i,X=i,X=i}??nn=,,X=i}“°=七X1=\,,Xn-1=i,X=i,,X=i}=i\x1=i1}-p(x0=i0,x1=i1, n+1n+1=P{X=in+1n+1P{X=i,X=P{X=i\x -P{X,X=i}n-1n-1I=P{X=P{X=i\x=i}-P{X=i\x=i}nnn-1n ,X=i}n-1n-1 -P{X1=i\X0=i0}-P{X0=i0}马尔可夫链的统计特性完全由以下条件概率所决定：P{Xn+1=异Xn=in}转移概率［定义］称条件概率Pg)=P{Xn+1=jXn=i}为马尔可夫链｛Xn,neT｝在时刻n的一步转移概率，其中i,jel，简称为转移概率。pij(n)不仅与状态ni,j有关，而且与时刻n有关。 当pij(n)与时刻n无关时，表示马尔可夫链具有平稳转移概率，此时称齐次马尔可夫链，我们只研究齐次的，通常将齐次省略。 的转移概率pij(n)与时刻n无关，—.一P11P12P1n一P=ppp21222n定义］若对任意的i,j，马尔可夫链｛Xn,n则称马尔可夫链是齐次的，并记为pij(n)为pij一步转移概率矩阵(见右面)性质：⑴?司＞0,i,jeI(2)七PjT,ie1随机矩阵Jen步转移概率定义］称条件概率Pjn)=P{Xm+n=jXm 的转移概率pij(n)与时刻n无关，—.一P11P12P1n一P=ppp21222n 为马尔可夫链｛Xn,neT｝的n步转移概率，并称P(〃)A(n P(〃)A(n)iJ 为马尔可夫链的n步转移矩阵。规定: 「0, p(0)=ij 〔1, (右上图) 初始概率和绝对概率 n步转移概率的性质 初始概率：Pj小Xo=J｝，(J^/)绝对概率：吓“)=P｛Xn，(jG7)初始分布：(Pj)=(jG^｝初始概率向量：P(0)’IP2,…)绝对概率向量P『(n)=G1(n)，P2(n)，..?)，(0)绝对概率Pj(n)的性质［定理］设｛Xn,neT｝为马尔可夫链，则对于任意整数n1和jeI，绝对概率Pj(n)具有下列性质：1)p(n)=Sppn)p(n)=XPj(n-1)-p. iE7PT(n)=PT(0)-P(n)(3)PT(n)=PT(n-1)-P［定理］设｛Xn,neT｝是马尔可夫链，则对任意n1和七，…，ineI，有 P(X=i,,X=i｝=Zppp 11nniii］i“J”iGln~n马尔可夫链的有限维分布完全由它的初始概率和一步转移概率所决定。 马尔可夫链的几个简单例子［例1］二进制对称信道模型一一是常用于表征通信系统的错误产生机制的离散无记忆信道模型。假设某级信道输入0,1数字信号后，其输出正确的概率为？，产生错误的概率为q,则该级信道输入状态和输出状态构成一个两状态的齐次马尔可夫链。 Q设质点在数轴上游动。每次游动一格，向右游动的概率为？，向左游动的概率为q=1-P，若以Xn表示质点在时刻n所处的位置，则｛Xn,n是一个齐次马尔可夫链，试写出它的一步和k步转移概率。(上述具体解决见课件)丁｝描述马氏链的三种方式(1)状态转移图(2)转移概率矩阵(3)函数表达式p,.=f(i,j)［例］设{Xn一1/2P=2/33/5P=n是一1/4}02/50P1%个马尔可夫链，-1/￡1/30其状态空间I={a, ［例］设{Xn一1/2P=2/33/5 P=n是一1/4}02/5 0P1%个马尔可夫链，-1/￡1/30 其状态空间I={a,b,c},转移矩阵为P{X=b,X=c,X=a,X=cX12(2)P{X2=c|X =c,X=a,X34=b}n =c};0 设{Xn,n0}是齐次马尔可夫链，其状态空间I={0,1,2转移概率是pij,i,j 初始分布为{Pj,j（2）状态的常返性1} 首中概率——状态i经n步首次到达状态j的概率：f（n=P{X=j,X壬j,1vn—1|X=i},n1f（0）=0系统从状态广出发，经有限步迟早会（首次）到达状态j的概率： f=*f(n) ijij n=1 ijij Pj与的关系［定理］对任意状态i,j及1，有上式可用来求从状态i经In步首次到达状态jf（n）=p（n）—Ef（k）