随机过程 第4章 Markov过程.pdf

第四章 Markov 过程 本章我们先讨论一类特殊的参数离散状态空间离散的随机过程，参数为 T {0,1,2,L} N0 ，状态空间为可列I {1,2,L}或有限I {1,2,L,n}的情况，即 讨论的过程为 Markov 链。Markov 链最初由 Markov 于 1906 年引入，至今它在 自然科学、工程技术、生命科学及管理科学等诸多领域中都有广泛的应用。之后 我们将讨论另一类参数连续状态空间离散的随机过程，即纯不连续Markov 过程。 §4.1 Markov 链的定义与性质 一、Markov 链的定义 定义 4.1 设随机序列 {X n ; n ≥0} 的状态空间为I ，如果对∀ n ∈N0 ，及 i , i , L,i , i ∈I , P{X i , X i , L, X i } 0 ，有： 0 1 n n+1 0 0 1 1 n n P {X i X i ,X i ,L,X i } n+1 n+1 0 0 1 1 n n （4.1.0) P {X i X i } n+1 n+1 n n 则称{X n ; n ≥0}为 Markov 链。 注1：等式（4.1.0 ）刻画了Markov 链的特性，称此特性为 Markov 性或无后 效性，简称为马氏性。Markov 链也称为马氏链。 定义 4.2 设{X n ; n ≥0}为马氏链，状态空间为I ，对于∀i, j ∈I ，称 P {X n+1 j X n i } ˆ pi j (n ) 为马氏链{X n ; n ≥0}在n 时刻的一步转移概率。 注2 ：一步转移概率满足： p n ≥ i j ∈I i j ( ) 0, , ∑p i j (n) 1, i =∈I ∈ j I 若对于∀i, j ∈I ，有 第四章 Markov 过程 0 P {X n+1 j X n i } ˆ pi j (n ) ≡pi j 即上面式子的右边与时刻n 无关，则称此马氏链为齐次（或时齐的）马氏链。 设p (i ) P X (0) i ,i ∈I ，如果对一切i ∈I 都有p (i ) ≥0, p (i ) 1 ，称p (i) 为 0 { } 0 ∑ 0 0 i∈I 马氏链的初始分布。记 ( ) ( ), π n P X i π(n) (π (n), π (n), L, π (n), L),