马尔可夫链完整版本.docVIP

PAGE

PAGE1

马尔可夫链

马尔可夫过程按其状态和时间参数是连续的或离散的,可分为三类:

时间,状态都是离散的马尔可夫过程,称为马尔可夫链.

时间连续,状态离散的马尔可夫过程,称为连续时间的马尔可夫

时间,状态都连续的马尔可夫过程.

4.1马尔可夫链的概念及转移概率

一,定义

假设马尔可夫过程的参数集T是离散的时间集合,即

T={0,1,2,…},其相应可能取值的全体组成的状态空间是离散的状态集

定义4.1设有随机过程,若对于任意的整数和任意的

,条件概率满足

}

=(4.1)

则称为马尔可夫链,简称.马氏链.

(4.1)式是马尔可夫链的马氏性(或无后效性)的数学表达式.由定义知

=

=

=.=…

=…

可见,马尔可夫链的统计特性完全由条件概率所决定.

二,转移概率

条件概率的直观含义为系统在时刻n处于状态i的条件下,在时刻n+1系统处于状态j的概率.它相当于随机游动的质点在时刻n处于状态i的条件下,下一步转移到状态j的概率.记此条件概率为

定义4.2称条件概率

=

为马尔可夫链在时刻n的一步转移概率,其中i,j,简称为转移概率.

定义4.3若对任意i,j,马尔可夫链的转移概率与n无关,则称马尔可夫链是齐次的,并记为

下面我们只讨论齐次马尔可夫链,通常将齐次两字省略.

设p表示一步转移概率所组成的矩阵,且状态空间I={1,2,…},则

称为系统的一步转移概率矩阵,它有性质:

(1)

通常称满足上述(1),(2)性质的矩阵为随机矩阵.

定义4.4称条件概率

=

为马尔可夫链的n步转移概率,.并称

为马尔可夫链的n步转移矩阵,其中(1)即也是随机矩阵.

当n=1时,=,此时一步转移矩阵此外我们规定

定理4.1设为马尔可夫链,则对任意整数和n步转移概率具有下列性质:

(1);(4.2)

(2)(4.3)

(3)(4.4)

(4)(4.5)

证明(1)利用全概率公式及马尔可夫性,有

=

==.

(2)在(1)中令得

这是一个递推公式,可递推下下去即得(4.3).

(3)在(1).令l=1利用矩阵乘法可得.

由(3),利用归纳法可证.

定理4.1中的(1)式称为切普曼柯尔哥洛夫方程,简称C-K方程.

定义4.5设为马尔可夫链,称

为的初始概率和绝对概率,并分别称为

的初始分布和绝对分布.简记为称概率向量

为n时刻的绝对概率向量,而称

为初始向量.

定理4.2设为马尔可夫链,则对任意整数,绝对概率具有下列性质:

(1);(4.6)

(2)(4.7)

(3)(4.8)

(4)(4.9)

证明(1)

==

(2)==

=

(3)与(4)是(1)与(2)的矩阵形式.

定理4.3设为马尔可夫链,则对任意有

=(4.10)

证明由全概率公式及马氏性有

=

=

=...

=..

=.

三,马尔可夫链的例子

例4.1无限制随机游动

设质点在数轴上移动,每次移动一格,向右移动的概率为p,向左移动的概率为

q=1-p,这种运动称为无限制随机游动.以表示时刻n质点所处的位置,则是一个齐次马尔可夫链,试写出它的一步和k步转移概率.

解的状态空间其一步转移概率矩阵为

设在第k步转移中向右移了x步向左移动了y步,且经过k步转移状态从j进入j,则

由于x,y都只取整数,所以必须是偶数.又在k步中哪x步向右,哪y步向左