《随机过程教案-卢玉贞》第6讲 离散参数马氏链 4.2.pptxVIP

随机过程卢玉贞电话箱：dlyuzhen@马氏链中研究的主要问题 无周期 按周期分类 周期 非周期 状态分类 正常返 遍历态 常返 按常返分类 零常返 非常返 互通 状态空间分解 闭集 状态空间分解定理 转移概率的极限性质、平稳分布 复习：马尔可夫链的基本概念一、 马氏链的定义二、转移概率三、切普曼--柯尔莫哥洛夫方程四、齐次马尔可夫链的有限维分布大连海事大学数学系4.2马尔科夫的状态分类和状态空间分解瞬态分析是讨论在某一固定时刻 时系统的概率特性，即求 步转移概率或绝对概率。瞬态分析齐次 链代表的系统进行研究时通常要讨论两类问题 稳态分析是讨论当 （或 充分大）后系统的概率特性，即 时， 的极限是否存在，若存在，又与状态的关系如何，极限概率是否能构成概率分布等。稳态分析 要解决这些问题，就需要对状态进行分类，本节先对齐次 链进行状态分类，然后介绍有关状态空间的分解理论。一、状态分类无周期周期态周期非周期态遍历态状态分类正常返态常返态常返零常返态非常返态37131112/365411、周期态、常返态与非常返态假设 是齐次 链，其状态空间 ，转移概率 ，初始分布 。我们按其概率特性对状态进行分类。 例4.7 设马尔可夫链的状态空间 ，状态间的转移概率如图所示3713112/3165411、周期态、常返态与非常返态 由图可见自状态 1 出发，再返回状态 1 的可能步数（时刻） 为 。显然 T 的最大公约数为 2 。但 2?T ，即由 1 出发经两步不能返回 1。受机械运动启发，我们仍把 2 定义为状态 1 的周期。解：1、周期态、常返态与非常返态定义 4.7 : 如集合 非空，则称该集合的最大公约数 为状态 的周期， 如 就称 为周期的，如果 就称 为非周期的。1、周期态、常返态与非常返态例4.8 状态空间 ，转移概率如图1234解：状态 2 和状态 3 有相同的周期 ，但状态 2 和状态3 有显著的区别。当状态 2 转移到状态 3 后，再不能返回到状态 2，状态 3 总能返回到状态 3。这就要引入常返性概念。1、周期态、常返态与非常返态 设 是齐次 链，其状态空间 对 ，令 （4.7） 称 为从状态 出发首次到达状态 的时刻，或称自 到 的首达时间。定义 4.8 :显然， 是一个随机变量，它的取值是系统从状态 出发，使 的最小正整数 ，如果这样的 不存在，就规定 .1、周期态、常返态与非常返态 令 （4.8） 它表示系统自状态 出发，经过 步首次到达 的（条件）概率.定义 4.9: 显然， 规定 ；又令 则 表示系统自状态 出发（在有限时间内）迟早达到状态 的概率. 显然，复习：马尔可夫链的基本概念一、 马氏链的定义二、转移概率三、切普曼--柯尔莫哥洛夫方程四、齐次马尔可夫链的有限维分布大连海事大学数学系马氏链中研究的主要问题 无周期 按周期分类 周期 非周期 状态分类 正常返 遍历态 常返 按常返分类 零常返 非常返 互通 状态空间分解 闭集 状态空间分解定理 转移概率的极限性质、平稳分布 1、周期态、常返态与非常返态定义 4.7 : 如集合 非空，则称该集合的最大公约数 为状态 的周期， 如 就称 为周期的，如果 就称 为非周期的。 设 是齐次 链，其状态空间 对 ，令 （4.7） 称 为从状态 出发首次到达状态 的时刻，或称自 到 的首达时间。Tij是一个随机变量。定义 4.8 :1、周期态、常返态与非常返态定义 4.9:它表示系统自状态 i 出发，经过 n 步首次到达 j 的（条件）概率. 显然， 规定又令则 fij 表示系统自状态 i 出发（在有限时间内）迟早到达状态 j 的概率. 1、周期态、常返态与非常返态定义4.10：1、如果 ，则