随机信号分析第6章-马尔可夫过程.pdf

第六章 马尔可夫过程 主要内容 马尔可夫过程 马尔可夫链 2014/5/26 2 马尔可夫过程 一个随机过程如果给定了当前时刻t的值Xt，如果 Xs（st）的值不受过去的值Xu（ut）的影响，而仅与 过程在t时刻的状态有关，此特性称为随机过程的马尔 可夫性或无后效性。 在给定当前知识或信息的情况下，过去（即当期以前 的历史状态）对于预测将来（即当期以后的未来状态） 是无关的。 2014/5/26 3 马尔可夫过程的分类 按马尔可夫过程参数空间和状态空间的不同可分为 X t ( ) 离散 连续 t 离散 马尔可夫链 马尔可夫序列 连续 离散马尔可夫 连续马尔可 过程 夫过程 2014/5/26 4 马尔可夫链的定义 （1）定义 状态(a , i=1,2, …N)和时间参量都是离散的随机过程，在r时 i 刻状态已知的条件下，其后 r+1 时刻所处状态的概率只与 r 时刻的状态有关，而与以前时刻r-1、r-2……的状态无关，则 该过程称马尔可夫链。 P{x = a x = a ,x = a ,,x = a } r+s i,r+s r i,r r−1 i,r−1 1 i,1 = P{xr+s = ai,r+s xr = ai,r } 2014/5/26 5 典型马尔可夫链举例 一维随机游动(RandomWalk) x X = k 质点正向移动一个单位 1 − p 0 p n 质点反向移动一个单位 X n 4 P(X n+1 = k +1| X n = k ) = p + 3 2 + + + 1 + + n ( = −1| = ) = 0 1 2 3 4 5 6 7 P X n+1 k X n k q 2014/5/26 6 典型马尔可夫链举例 二元通信信道 1－α 0 0 β P (X n+1 = 1| X n = 0) = α X X n α n+1 P (X n+1 = 0 | X n = 1) = β 1