河南理工大学定理.PPT

第4章 马尔可夫链 Markov Chain 内容提要 马尔可夫链的概念及转移概率 马尔可夫链的状态分类 状态空间的分解 pij(n) 的渐近性质与平稳分布 马尔可夫过程的简介 马尔可夫过程是一类重要的随机过程。 20世纪初由苏联马尔可夫在研究随机过程中得到 在信息理论、自动控制、数值计算、近代物理、交通运输、工程技术及生物科学等方面起到异乎寻常的作用，现代科学和现代工程技术人员越来越重视马尔可夫过程的理论及其应用的研究。 马尔可夫过程的四种类型 马尔可夫链 时间、状态都离散 马尔可夫序列 时间离散、状态连续 连续时间的马尔可夫链 时间连续、状态离散 马尔可夫过程（或扩散过程） 时间、状态都连续 4.1 马尔可夫链的概念及转移概率 马氏性 马尔可夫链的统计特性完全由以下条件概率所决定： 二、转移概率 齐次马尔可夫链 一步转移概率矩阵 性质： n 步转移概率 n 步转移概率 的性质 n 步转移概率 的性质 疑难解析 定义4.5 初始概率和绝对概率 绝对概率 pj(n) 的性质 有限维概率分布 4.2 马尔可夫链的状态分类 设 { Xn , n 0 } 是齐次马尔可夫链，其状态空间 I = { 0, 1, 2, … }，转移概率是 pij ， i , j ?I ，初始分布为{ Pj , j ?I } 。 1、状态的周期性 2、状态的常返性 常返性的定义 与 的关系 上式可用来求从状态 i 经 n 步首次到达状态 j 的概率： 引理4.2 周期的等价定义 二、常返性的判别及其性质 可达关系与互通关系 4.3 状态空间的分解 闭集的充要条件 状态 i 为吸收态（pii = 1）? 单点集 { i } 是闭集。 例4.11 设马氏链 { Xn } 的状态空间 I = { 1, 2, 3, 4, 5 } ，转移矩阵为P，试分析其闭集及不可约性。 状态 3为吸收态，故 { 3 } 是闭集； { 1, 4 } ， { 1, 4, 3 }， { 1, 4, 2, 3 }都是闭集； { 3 } 和 { 1, 4 }是不可约闭集； 因为 I 含有闭子集，故马氏链 { Xn }不是不可约链。 分解1——按照常返性和互通性进行 例4.13 设状态空间 I = { 1, 2, … , 6 } ，转移矩阵为P，试分解此链并指出各状态的常返性及周期性。 例4.13 设状态空间 I = { 1, 2, … , 6 } ，转移矩阵为P，试分解此链并指出各状态的常返性及周期性。 例4.13 设状态空间 I = { 1, 2, … , 6 } ，转移矩阵为P，试分解此链并指出各状态的常返性及周期性。 分解2——对周期的不可约马氏链的分解 例4.14设不可约马氏链的状态空间 C = { 1, 2, 3, 4, 5, 6 }，转移矩阵为P，试对其状态空间进行分解。 例4.14设不可约马氏链的状态空间 C = { 1, 2, 3, 4, 5, 6 }，转移矩阵为P，试对其状态空间进行分解。 周期性不可约马氏链的子链 例4.15 设 { Xn } 是例4.14中的马氏链，已知 d = 3，则 { X3n , n ? 0 } 的转移矩阵为 定义4.9 状态空间 I 的子集 C，若对于任意 i ? C 及 k ? C 都有 pik = 0 ，则称子集 C 为（随机）闭集。 若闭集 C 的状态互通，则称 C 为不可约的。 若马氏链{ Xn }的状态空间是不可约的，则称该马氏链为不可约。 引理4.4 C 是闭集的充要条件是：对于任意 i ? C 及 k ? C 都有 pik(n) = 0 , n ? 1。 证：只需证必要性。用归纳法，设C为闭集，有定义当n=1时结论成立。今设n=m时， pik(m) = 0 i ?C ， k ? C ，则 定理得证。 注解：闭集的意思就是自C的内部不能到达C的外部。这意味着一旦质点进入闭集C中，它将永远留在C中运动。 ④ ① ② ③ 1/2 1/2 1/2 1 1/2 1 1 ⑤ 定理4.10 任一马氏链的状态空间 I ，可唯一地分解成有限个或可列个互不相交的子集 D, C1, C2, … 之和，使得 （1）每个 Cn 是常返态组成的不可约闭集； （2）Cn 中的状态同类（全为正常返或零常返），它们有相同的周期，且 fjk = 1，j, k ?Cn ； （3）D 由全体非常返态组成。自 Cn 中的状态不能到达 D 中的状态。 称Cn 是基本常返闭集 证明 记C为全体常返状态所成的集合，D=I-C为非常返状态全体。将C按互通关系进行分解，则 I=DUC1UC2UC3… 其中每一个Cn是由常返状态组成的不可约的