马尔可夫链分析和总结.docxVIP

马尔可夫链 马尔可夫链（Markov chains）是一类重要的随机过程，它的状态空间是有限的或可数无限的。经过一段时间系统从一个状态转到另一个状态这种进程只依赖于当前出发时的状 态而与以前的历史无关。马尔可夫链有着广泛的应用，也是研究排队系统的重要工具。 离散时间参数的马尔可夫链 ①基本概念 定义 5.7 设{X (n)，n ? 0,1,2, }是一个随机过程，状态空间 E ? {0,1,2, }，如果? ? }，如果 对于任意的一组整数时间 0 ? n ? n ? ? n ，以及任意状态 i , i , , i ? E ，都有条件 1 2 ? ? ? k 概率 1 2 k P{X (n ) ? i | X (n ) ? i , X (n ) ? i , , X (n ) ? i } k k 1 1 2 2 ? ? ? k ?1 k ?1 ? P{X (n k ) ? i k | X (n k ?1 ) ? i k ?1 } （5-17） 即过程{X (n)，n ? 0,1,2, }未来所处的状态只与当前的状态有关，而与以前曾处于什么 ? ? ? 状态无关，则称{X (n)，n ? 0,1,2, }是一个离散时间参数的马尔可夫链。当 E 为可列无 ? ? ? 限集时称其为可列无限状态的马尔可夫链，否则称其为有限状态的马尔可夫链。 定义 5.8 设{X (n)，n ? 0,1,2, 件概率 }是状态空间 E ? {0,1,2, ? ? ? }上的马尔可夫链，条 p (m, k ) ? P{X (m ? k ) ? j | X (m) ? i}，i、j ? E （5-18） ij 称为马尔可夫链{X (n)，n ? 0,1,2, }在m 时刻的k 步转移概率。 ? ? ? k 步转移概率的直观意义是：质点在时刻m 处于状态i 的条件下，再经过 k 步（ k 个单位时间）转移到状态 j 的条件概率。特别地，当k ? 1 时， p (m,1) ? P{X (m ?1) ? j | X (m) ? i} （5-19） ij 称为一步转移概率，简称转移概率。 如果 k 步转移概率 p ij (m, k )，i、j ? E ，只与 k 有关，而与时间起点 m 无关，则 {X (n)} 称为离散时间的齐次马尔可夫链。 定义 5.9 设{X (n)，n ? 0,1,2, }是状态空间 E ? {0,1,2, ? ? ? } 上的马尔可夫链，矩阵 ? ? ? ? p (m, k) p (m, k) p (m, k) ? ? 00 01 0n ? ?p (m, k) ? 10 P(m, k) ? ? ? p (m, k) 11 p (m, k) 1n ? ? （5-20） ?? ? ? pj 0 ?? (m, k) p (m, k) j1 p (m, k) jn ?? 称为{X (n)} 在 m 时刻的 k 步转移概率矩阵。 当 k ? 1 时， P(m,1) 称为一步转移概率矩阵。 对于齐次马尔可夫链，容易推得k 步转移概率矩阵与一步转移概率矩阵具有关系 ? ?P ?m, k ?? ?P ?m,1??k ， k ? 1,2, （ ? ? ? ? ? 而且与起始时刻m 无关。今后我们用 p ij ) 表示齐次马尔可夫链的 k 步转移概率，P(k) 为 k 步转移概率矩阵。 ②平稳分布与存在条件 定义 5.10 给定齐次马尔可夫链{X (n)，n ? 0,1,2,  }，称概率分布 ? ? ? 为{X (n)，n ? 0,1,2, P (0) ? P{X (0) ? j}, j ? E （5-22） j }的初始分布，其中0 ? P (0) ? 1 ，且? P (0) ? 1，而称概率分布 ? ? ? j j j?E 为{X (n)，n ? 0,1,2, 如果极限 P (n) ? P{X (n) ? j}, j ? E （5-23） j }的瞬时分布，它表示过程在任意时刻n 的概率分布。 ? ? ? p ? lim p j n?? j ?n?, j ? E （5-24） 存在，且0 ? P ? 1 ， ? P ? 1 ，则称{ p , j ? E} 为过程{X (n)，n ? 0,1,2, }的平稳分 j j?E 布。 j j ? ? ? 显然，对于齐次马尔可夫链，它的瞬时概率由初始分布和转移概率矩阵完全确定，即 p (n) ? ? p (0) ? p (n) （5-25） j i ij i?E 在平稳分布存在的条件下，由于式（5-25）可变为 p (n) ? ? p (n ?1)? p (1) （5-26） j i ij i?E 令 n ? ? ，得平稳分布{