应用随机过程第五章.ppt

演示文稿应用随机过程第五章

第1页，共123页。

应用随机过程第五章

第2页，共123页。

定义5.1：设随机过程{X(t),tT},其中T{0,1,2,}

（或{Xnn0,1,}，或X(n)),状态空间S{0,1,2}

若对任意一时刻n,以及任意状态i0,i1,,in1,in,j

有

P(Xn1j|X0i0,X1i1,,Xn1in1,Xnin)

P(Xn1j|Xnin)

则称{Xnn0}为一Markov链（或马氏链）.

第3页，共123页。

2.转移概率

定义5.2：称定义5.1中的条件概率

P(Xn1j|Xnin)pij(n)为Markov链{Xnn0,1,}

的一步转移概率，简称为转移概率.

定义5.3：而与

当P(Xn1j|Xnin)只与i,j有关，n

即p(n)p

无关时，P(Xn1j|Xnin)ijij

称Markov链为齐次的(时齐的).

否则，称为非齐次的(非时齐的)。

第4页，共123页。

注：有定义5.1知

P(X0i0,X1i1,,Xnin)

P(Xnin|X0i0,X1i1,,Xn1in1)

P(X0i0,X1i1,,Xn1in1)

P(Xnin|Xn1in1)

P(Xn1in1|X0i0,,Xn2in2)P(X0i0,,Xn2in2)

P(Xn1in1|Xn2in2)

P(X1i1|X0i0)P(X0i0)

PPP

i0i1i2in1in

第5页，共123页。

可见,一旦Markov链的初始分布P(X0i0）给定,其统计

特性完全由条件概率P(Xn1j|Xnin)pij来决定,如

何确定这个条件概率,是Markov链理论和应用中的重要

问题之一。

转移概率矩阵

p00p01p02



p10p11p12

PPij

p20p21p22





简称为转移矩阵。

第6页，共123页。

转移矩阵的性质：

(1)Pij0,i,jS

(2)Pij1,iS

j

定义5.4：

称矩阵A(aij)SS为随机矩阵，

若aij0(i,jS)且iS,aij1.

j

显然PPij是一随机矩阵。

第7页，共123页。

3.Markov链的例子

例5.1：