刘次华《随机过程及其应用（第三版）》 马尔科夫链.pptVIP

7 马尔可夫链 内容提要 马尔可夫链的概念及转移概率 马尔可夫链的状态分类 状态空间的分解 pij(n) 的渐近性质与平稳分布 马尔可夫过程的四种类型 马尔可夫链 时间、状态都离散 马尔可夫序列 时间离散、状态连续 纯不连续马尔可夫过程 时间连续、状态离散 连续马尔可夫过程（或扩散过程） 时间、状态都连续 7.1 马尔可夫链的概念及转移概率 马氏性（无后效性） 马尔可夫链的统计特性完全由以下条件概率所决定： 转移概率 pij(n) 不仅与状态 i , j 有关，而且与时刻 n 有关。 当 pij(n) 与时刻 n 无关时，表示马尔可夫链具有平稳转移概率。 齐次马尔可夫链 一步转移概率矩阵 性质： n 步转移概率 n 步转移概率 的性质 初始概率和绝对概率 绝对概率 pj(n) 的性质 有限维概率分布 马尔可夫链的几个简单例子 [例] （例4.4）具有吸收壁和反射壁的随机游动 描述马氏链的三种方式 7.2 马尔可夫链的状态分类 设 { Xn , n 0 } 是齐次马尔可夫链，其状态空间 I = { 0, 1, 2, … }，转移概率是 pij ， i , j ?I ，初始分布为{ Pj , j ?I } 。 （1）状态的周期性 （2）状态的常返性 常返性的定义 与 的关系 上式可用来求从状态 i 经 n 步首次到达状态 j 的概率： 周期的等价定义 常返性的判别及其性质 （3）可达关系与互通关系 7.3 状态空间的分解 闭集的充要条件 状态 i 为吸收态（pii = 1）? 单点集 { i } 是闭集。 [例] （例4.11）设马氏链 { Xn } 的状态空间 I = { 1, 2, 3, 4, 5 } ，转移矩阵为P，试分析其闭集及不可约性。 状态 3为吸收态，故 { 3 } 是闭集； { 1, 4 } ， { 1, 4, 3 }， { 1, 4, 2, 3 }都是闭集； { 3 } 和 { 1, 4 }是不可约闭集； 因为 I 含有闭子集，故马氏链 { Xn }不是不可约链。 分解1——按照常返性和互通性进行 [例] （例4.13）设状态空间 I = { 1, 2, … , 6 } ，转移矩阵为P，试分解此链并指出各状态的常返性及周期性。 随机矩阵 分解2——对周期的不可约马氏链的分解 [例] （例4.14）设不可约马氏链的状态空间 C = { 1, 2, 3, 4, 5, 6 }，转移矩阵为P，试对其状态空间进行分解。 周期性不可约马氏链的子链 [例] （例4.15）设 { Xn } 是例4.14中的马氏链，已知 d = 3，则 { X3n , n ? 0 } 的转移矩阵为 7.4 pij(n)的渐近性质与平稳分布 （1）pij(n)的渐近性质 fij (r) 的定义 正常返态的渐近性 常返或到达的平均次数 （2）平稳分布 平稳分布 [例] （例4.16）设马尔可夫链的转移概率矩阵为P，求马氏链的平稳分布及各状态的平均返回时间。 ④ ① ② ③ 1/2 1/2 1/2 1 1/2 1 1 ⑤ [定理] 任一马氏链的状态空间 I ，可唯一地分解成有限个或可列个互不相交的子集 D, C1, C2, … 之和，使得 （1）每个 Cn 是常返态组成的不可约闭集； （2）Cn 中的状态同类（全为正常返或零常返），它们有相同的周期，且 fjk = 1，j, k ?Cn ； （3）D 由全体非常返态组成。自 Cn 中的状态不能到达 D 中的状态。 称Cn 是基本常返闭集 ④ ① ② ③ 1/3 1/3 1/2 1 1/2 1 1 ⑤ ⑥ 1 1/3 [定义] 若矩阵 (a ij ) 的元素非负且对每个 i 都有 ，则称矩阵 (a ij ) 为随机矩阵。显然，k 步转移矩阵 是随机矩阵。 [定理] 设 C 是闭集，又 是 C 上所得的 k 步转移子矩阵，则 G 仍是随机矩阵。 [定理] 周期为 d 的不可约马氏链，其状态空间 C 可唯一地分解为 d 个互不相交的子集之和，即且使得自 Gr 中任一状态出发，经一步转移必进入 Gr+1 中（其中 Gd = G0 ）。 ④ ① ② ③ 3/4 1/3 1/2 1 1/2 1 ⑤ ⑥ 1 1/3 1/3 1/4 1,4,6 3,5 2 1 1 1 [定理] 设{ Xn , n ? 0 } 是周期为 d 的不可约马氏链， （1）若只在时刻 0, d, 2d, … 上考虑 { Xn } ，即得一新马氏链（子链），其转移矩阵 ，对此新链，每一子状态空间 Gr 是非周期的