随机过程报告——马尔可夫链.pdf

马尔可夫链 马尔可夫链是一种特殊的随机过程，最初由A.A .M arkov所研究。 它的直观背景如下:设有一随机运动的系统E (例如运动着的质点等)， 它可能处的状态记为E , E ,..., E , 总共有可数个或者有穷个。这系统 0 1 n 只可能在时刻t=1,2,…n,…上改变它的状态。随  着的运动进程，定 义一列随机变量Xn,n=0,1, 2, ⋯其中Xn=k ，如在t=n时， 位于Ek。   定义1.1 设有随机过程 X ，n T ，若对任意的整数n T 和任意 n 的i ,i ,...i I , 条件概率满足 0 1 n1 0 P {X  i X  i ,...,X  i }  P {X  i X  i } n1 n 1 0 0 n n n1 n 1 n n   则称 X n ，n T 为马尔可夫链，简称为马氏链。 实际中常常碰到具有下列性质的运动系统 。如果己知它在t=n 时的状态，则关于它在n时以前所处的状态的补充知识，对 言 在 n时以后所处的状态，不起任何作用。或者说，在己知的“现在”的条件 下， “将来”与“过去”是无关的。这种性质，就是直观意义上的“马尔可 夫性”，或者称为“无后效性”。   假设马尔可夫过程 X ，n T 的参数集T是离散时间集合，即 n T={0,1,2,…},其相应Xn可能取值的全体组成的状态空间是离散状态 空间I={1,2,..}。 定义1.2 条件概率 P (n)  p {X  j X  i} ij n1 n   称为马尔可夫链 X n ，n T 在时刻n 的一步转移矩阵，其中i，j I ， 简称为转移概率。 一般地，转移概率 P(n) 不仅与状态i,j 有关，而且与时刻n有关。当 ij P(n) 不依赖于时刻n时，表示马尔可夫链具有平稳转移概率。若对任意 ij 的i，j I ，马尔可夫链Xn,n T} 的转移概率 P(n) 与n无关，则称马尔可夫 ij 链是齐次的。 定义1.3 设p表示一步转移概率p ，所组成的矩阵，且状态空间 1={1,2，…n}，则 称为马尔可夫链的一步转移概率矩阵。它具有如下性质： (2)P  1,i I ij （1）P  0