随机过程Ch4-马尔科夫链.pdf

第四章 马尔可夫链 4.1 马尔可夫链与转移概率 定义 设 {X(t)，t T }为随机过程，若对 任意正整数n及t t  t ， 1 2 n P{X(t )=x ,, X(t )=x }0 ，且条件分 1 1 n-1 n-1 布P{X(t )x |X(t )=x ,, X(t )=x }= n n 1 1 n-1 n-1 P{X(t )  x |X(t )=x } ，则称{X(t)，t n n n-1 n-1 T }为马尔可夫过程。 ☆若t ,t ,,t 表示过去，t 表示现在，t 1 2 n-2 n-1 n 表示将来，马尔可夫过程表明：在已知现 在状态的条件下，将来所处的状态与过去 状态无关。 2 4.1 马尔可夫链与转移概率  马尔可夫过程通常分为三类： (1)时间、状态都是离散的，称为马尔可 夫链 (2)时间连续、状态离散的，称为连续时间 马尔可夫链 (3)时间、状态都是连续的，称为马尔可夫 过程 3 4.1 马尔可夫链与转移概率 随机过程{Xn ，nT }， 参数T={0, 1, 2, },状态空间I={i , i , i , } 0 1 2 定义 若随机过程{Xn ，nT }，对任意nT和 i ,i ,,i I，条件概率 0 1 n+1 P{X =i |X =i ,X =i ,,X =i } n+1 n+1 0 0 1 1 n n = P{X =i |X =i } ， n+1 n+1 n n 则称{X ，nT }为马尔可夫链，简称马氏链。 n 4 4.1 马尔可夫链与转移概率  马尔可夫链的性质 P{X =i , X =i , , X =i } 0 0 1 1 n n =P{X =i |X =i , X =i , , X =i } n n 0 0 1 1