应用随机过程5.1Markov链汇编.ppt

第五章 Markov 链 主要内容 5.1、 基本概念 5.2、 状态分类及性质 5.3、 极限定理及不变分布 5.4、 连续时间Markov链 本章的教学目的和要求： 1、理解Markov链的定义，了解与之相关的概念和实际应用背景. 2、掌握状态分类的标准和性质. 3、了解极限定理及不变分布. 4、理解连续时间Markov链的定义及性质，了解Kolmogrov方程和生灭过程. 第一节 基本概念 二、 转移概率随机矩阵 三、 C-K方程 一、 Markov链的定义 【本节内容】 【重点、难点】 Markov链的定义 引入： 古希腊有句名言：“罗马不是一天建成的。” 中国亦有诗云：“冰冻三尺非一日之寒。” 可见，事物发展是与过去有关系的，有因，才有果. 然而，这节课要讲的一类随机过程却不具备这种性质，换言之，要确定过程将来的状态，不需要知道它过去的状况，只需知道它现在的情况就足够了. 此即“无后效性” 也叫Markov性 . 具有“无后效性”的随机过程称为Markov过程. 本章主 要介绍最简单的两类：离散时间的Markov链 简称 Markov链 和连续时间的Markov链. 5.1.1 Markov 链的定义 至此，我们接下来自然要问：对于Markov链而言， 1 它的初始分布存在吗？ 2 条件概率 ** 是如何确定呢？ Answer to 1 : 华罗庚先生给出答案：“Markov链必有其始.” Answer to 2 : 该问题是Markov链理论和应用的重要问题之一，我们将在接下来的小节中予以说明。 5.1.2 转移概率 我们先给出其定义： 注意: 今后我们所讲的都是时齐Markov链，并简称为 Markov链. Markov链的分类：若Markov链的状态是有限的，称为 有限链，否则称其为无限链. 接下来，我们讨论关于Markov链的一个重要概念： 转移概率矩阵 性质：转移矩阵P具有以下性质： 显然，随机矩阵的每一行元素之和为1. 5.1.3 一些例子 复习： √ Markov链的定义 2. 何谓Markov性？ 3. Markov链的有限维分布族 由Markov性及乘法公式，知 填空题: Markov链的概率特征完全由 和 描述. 判断题：Markov 链是离散时间参数、离散状态的且满足 Markov性的随机过程. 例题： 证及解： 是离散状态的随机序列. 下证 Markov性. 从而， 是一Markov链. 进而，它的转移概率为 由题意易知， 5.1.4 n步转移概率 与 C-K方程 在5.1.2节，我们学习了一步转移概率 ， 即Markov 链从状态 i 经过一步转移到 j 的概率 . n步转移概率及n步转移矩阵 接下来我们讨论 注释 现在我们给出关于 和 的结论，即定理5.1. Chapman-Kolmogorov方程 Go on Proof