工程随机过程第三章Markov过程.pptVIP

* * 第三章 马尔可夫过程 (Markov) Markov过程是一个具有无后效性的随机过程. 当过程在时刻tm所处的状态为已知时, 过程在大于tm的时刻t所处状态的概率特性只与过程在tm时刻所处的状态有关, 而与过程在tm时刻之前的状态无关. 无后效性: (1)参数和状态都离散 -----马氏链 (2)参数离散, 状态连续 -----马氏序列 (3)其余皆为马氏过程. ? 马尔可夫链 1 定义 {X(t), t?T }是一个s.p. (1) T={0,1,2,??????}, E={0,1,2, ??????}; 任给正整数n, m, k 和任意非负整数 jn jn-1??? j2 j1( jnm)与之相应的状态im+k, im, ijn, ???, ij2, ij1有 称{X(t), t?T }为马氏链. 常记为{X(n), n=0,1,2,??? } . 2 一步转移概率 称为马氏链在时刻m的一步转移概率. 易有： 若E={0,1, 2,?????}，则 称为马氏链在时刻m的一步转移概率矩阵。 若E={0,1, 2,???, k}，则 若pij (m)与m无关，即无论在何时刻，从状态i出发经一步到达状态j的概率都相等，记为 称此时马氏链为齐次马氏链（关于时间齐次）。 例 直线上带吸收壁的随机游动 0 0 E={0