十一章概率论习题课.pdfVIP

一、重点与难点

1.重点

马氏链n步转移概率的确定

2.难点

有限维分布律的计算方法

遍历性问题

二、主要内容

过程齐

次C-K方程

马

链尔

可遍历性

夫

链

转移概率矩阵

充要条件

过程

具有性的随机过程称为过程.

性(无后效性)

过程或(系统)在时刻t所处的状态为已知的

0

条件下,过程在时刻tt所处状态的条件分布与

0

与过程在时刻t之前所处的状态无关的特性称为

0

性或无后效性.

链

时间和状态都是离散的过程称为

链.

简记为:{XnX(n),n0,1,2,L}.

链

当转移概率Pij(m,n+n)只与i,j及时间间距n

有关时,称此链是的或的.

转移概率、转移概率矩阵

称条件概率P(m,m+n)P{Xa|Xa}

ijm+njmi

为马氏链在时刻m处于状态a条件下,在时刻

i

m+n转移到状态aj的转移概率.



转移概率的特点Pij(m,m+n)1,i1,2,L.

j1

由转移概率组成的矩阵P(m,m+n)(Pij(m,m+n))

称为马氏链的转移概率矩阵.它是随机矩阵.

马氏链的n步转移概率

记Pij(m,m+n)Pij(n),

P(n)P{Xa|Xa}称为马氏链的

ijm+njmi

n步转移概率.

P(n)(Pij(n))为n步转移概率.

当k=1时