武汉理工大学随机过程第4章.pdf

第四章 马尔可夫链(Markov Chain) 4.1 马尔可夫链与转移概率 (Markov Chain and Probability of State Transition) 一、基本概念 定义4.0 设 {X(t) ，t ∈T }为随机过程，若 定义4.0 对任意正整数n及t t … t ， 1 2 n P{X(t )=x ,…, X(t )=x }0 ，且条件分 1 1 n-1 n-1 布P{X(t )≤x |X(t )=x ,…, X(t )=x }= n n 1 1 n-1 n-1 P{X(t ) ≤x |X(t )=x } ，则称{X(t) ，t n n n-1 n-1 ∈T }为马尔可夫过程。 4.1 马尔可夫链与转移概率 ★若t , t , …, t 表示过去，t 表示现 1 2 n -2 n -1 在，tn表示将来，马尔可夫过程表明： 在已知现在状态的条件下，将来所处的 状态与过去状态无关。 过去 现在 将来 4.1 马尔可夫链与转移概率 马尔可夫过程通常分为三类： (1) 时间、状态都是离散的，称为马尔 可夫链 (2) 时间连续、状态离散的，称为连续 时间马尔可夫链 (3) 时间、状态都是连续的，称为马尔 可夫过程 4.1 马尔可夫链与转移概率 对时间、状态都是离散的随机过程{Xn ，n ∈T }， 记参数集T={0, 1, 2, …}，状态空间I={0, 1, 2, …} I 5 4 3 2 1 0 1 2 3 4 5 T 4.1 马尔可夫链与转移概率 对时间、状态都是离散的随机过程 {Xn ，n∈T }，记参数集T={0, 1, 2, …}, 状态空间I={0,1,2, …} 定义4.1 若随机过程{X ，n∈T }，对任 定义4.1 n 意n∈T和i , i , …, i ∈I，条件概率 0 1 n+1 P{X =i |X =i ,X =i ,…,X =i } n+1 n+1 0 0 1 1 n n = P{X =i |X =i } ，