随机过程第四章 1-2（ 马尔可夫链）.pdf

第四章 马尔可夫链 信息工程学院四系二教 刘文芬 第四章 马尔可夫链 1 马尔可夫链的概念及转移概率 2 马尔可夫链的状态分类 3 状态空间的分解 (n ) 4 pij 的渐进性质与平稳分布 2011-10-25 信息工程学院四系三教 2 4.1 马尔可夫链的概念及转移概率 本章的重点：  马氏性的定义及转移概率  常返性的定义及性质 渐进性质与平稳分布 本章的难点：  马尔可夫链的状态分类 状态空间的分解 2011-10-25 信息工程学院四系三教 3 引例—— 随机游走 下一步处到哪个位置只与当前所处位置有关，与 怎么到达当前位置无关！ 2011-10-25 信息工程学院四系三教 4 马尔可夫链的概念 定义4.1 称定义在概率空间(,F,P )上的随 机变量序列 X ,X ,X , 为马尔可夫链， 0 1 2 简称马氏链，如果它满足下列两条件： X n   (I) { n , 0,1, }的状态空间I是可数集; , , , (II) 对任意自然数n及i0 i1  in1 I 成立 P{X i | X i , X i ,, X i } n1 n1 0 0 1 1 n n P{Xn1 in1 | Xn in }, (4.1) ——马氏性 2011-10-25 信息工程学院四系三教 5 马尔可夫链的概念 注： 1. 定义中的条件概率有定义时， P{X i | X i , X i ,, X i } n1 n1 0 0 1 1 n n 需要满足 P{X i , X i ,, X i } 0. 0 0 1 1 n n 2. 直观解释：马氏性表示在已知“现在” 的条件下, “将来”与“过去”是独立的。 2011-10-25 信息工程学院四系三教 6 马尔可夫链的概念 注: P{X i , X i , , X i } 0 0 1 1 n n P{X i