刘次华《随机过程及其应用(第三版)》课件7c讲解.pptVIP

7 马尔可夫链 内容提要 马尔可夫链的概念及转移概率 马尔可夫链的状态分类 状态空间的分解 pij(n) 的渐近性质与平稳分布 马尔可夫过程的四种类型 马尔可夫链 时间、状态都离散 马尔可夫序列 时间离散、状态连续 纯不连续马尔可夫过程 时间连续、状态离散 连续马尔可夫过程（或扩散过程） 时间、状态都连续 7.1 马尔可夫链的概念及转移概率 马氏性（无后效性） 马尔可夫链的统计特性完全由以下条件概率所决定： 转移概率 pij(n) 不仅与状态 i , j 有关，而且与时刻 n 有关。 当 pij(n) 与时刻 n 无关时，表示马尔可夫链具有平稳转移概率。 齐次马尔可夫链 一步转移概率矩阵 性质： n 步转移概率 n 步转移概率 的性质 初始概率和绝对概率 绝对概率 pj(n) 的性质 有限维概率分布 马尔可夫链的几个简单例子 [例] （例4.4）具有吸收壁和反射壁的随机游动 描述马氏链的三种方式 7.2 马尔可夫链的状态分类 设 { Xn , n 0 } 是齐次马尔可夫链，其状态空间 I = { 0, 1, 2, … }，转移概率是 pij ， i , j ?I ，初始分布为{ Pj , j ?I } 。 （1）状态的周期性 （2）状态的常返性 常返性的定义 与 的关系 上式可用来求从状态 i 经 n 步首次到达状态 j 的概率： 周期的等价定义