北京航空航天大学《概率论与数理统计》课件-第13章.pdfVIP

第十三章 马尔可夫链 马尔可夫过程是一类特殊的随机 过程, 马尔可夫链是离散状态的马尔 可夫过程, 最初是由俄国数学家马尔 可夫1896年提出和研究的，其应用十 分广泛, 其应用领域涉及计算机, 通 信, 自动控制,随机服务, 可靠性, 生物 学, 经济, 管理,教育, 气象, 物理, 化学 等等. 第一节 马尔可夫链的定义 一．定义 定义1 设随机过程{X(t),tT}的状态空间S 是有限集或可列集, 对任意正整数n, 对于T内 任意n+1个参数t t  t t 和S内任 1 2 n n+1 意n+1个状态j , j , , j , j 1 2 n n+1 如果条件概率 P {X (t ) j | X (t ) j ,X (t ) j ,,X (t ) j } n1 n1 1 1 2 2 n n P {X (t ) j | X (t ) j } (*) n1 n1 n n 恒成立, 则称此过程为马尔可夫链. 式(*)称为马尔可夫性,或称无后效性. P {X (t ) j | X (t ) j ,X (t ) j ,, X (t ) j } n1 n1 1 1 2 2 n n P {X (t ) j | X (t ) j } n1 n1 n n x j n j n+1 j 1 j 2 O t1 t2  tn tn+1 t 马氏性的直观含义可以解释如下: 将t 看作为现在时刻,那末 t ,t ,,t 就 n 1 2 n-1 是过去时刻,而t 则是将来时刻.于是, (*) n+1 式是说,当已知系统现时情况的条件下,系 统将来的发展变化与系统的过去无关.我 们称之为无后效性. 许多实际问题都具有这种无后效性. 例如 生物基因遗传从这一代到下一代的转 移中仅依赖于这一代, 与以往各代无关. 再如, 每当评估一个复杂的计算机系统的 性能时,就要充分利用系统在各个时刻的状态 演变所具有的通常概率特性:即系统下一个将 到达的状态, 仅依赖于目前所处的状态, 而与 以往处过的状态无关. 此外,诸如某公司的经营状况等等也常常 具有或近似具有无后效性. 二．马尔可夫链的分类 状态空间S是离散的(有限集或可列集),参数 集T可为离散或连续的两类. 本课程主要介绍 离散参数马尔可夫链. 三．离散参数马尔可夫链 1. 转移概率 定义2 设离散参数马尔可夫链