工程随机过程_3_马尔可夫过程(Markov)介绍.pdf

第三章 马尔可夫过程 (Markov) College of Science, Hohai University Stochastic Processes Markov过程是一个具有无后效性的随机过程. 无后效性: 当过程在时刻tm所处的状态为已知时, 过程在 大于tm 的时刻t所处状态的概率特性只与过程在 tm 时刻所处的状态有关, 而与过程在tm 时刻之前 的状态无关. (1)参数和状态都离散 马氏链 (2)参数离散, 状态连续马氏序列 (3)其余皆为马氏过程. College of Science, Hohai University Stochastic Processes 马尔可夫链 1 定义 {X (t), t T }是一个s.p. (1) T={0,1,2,}, E={0,1,2, }; (2)任给正整数n, m, k 和任意非负整数 j n j n-1j 2j 1(j nm)与之相应的状态im+k, im, i , , i , i 有 jn j 2 j 1 P {X (m k ) imk | X (m) im ,X (j n ) ij n ,,X (j 1 ) ij 1 } P {X (m k) imk | X (m) im } 称{X (t), t T }为马氏链. 常记为{X (n), n=0,1,2,} . College of Science, Hohai University Stochastic Processes 2 一步转移概率  P {X (m 1) j | X (m) i} p ij (m) 称为马氏链在时刻m的一步转移概率. 易有：（1）0 p ij (m) 1; （2） p (m) 1.  ij j College of Science, Hohai University Stochastic Processes 若E={0,1, 2,}，则 p 00 (m) p 01 (m)    P1 P p 10 (m) p 11 (m)      称为马氏链在时刻m的一步转移概率矩阵。 College of Science, Hohai University Stochastic Processes 若E={0,1, 2,, k}，则 p 00 (m) p 01 (m)  p 0k (m)   P P p 10 (m) p 11 (m)  p 1k (m)  1     