第五章 先markov 链 主要内容.pptVIP

第五章 Markov 链 本章的教学目的和要求： 1、理解Markov链的定义，了解与之相关的概念和实际应用背景. 2、掌握状态分类的标准和性质. 3、理解连续时间Markov链的定义及性质，了解Kolmogrov方程和生灭过程. 第一节 基本概念 引入： 5.1.1 Markov 链的定义 5.1.2 转移概率 5.1.3 一些例子 复习： 5.1.4 n步转移概率 与 C-K方程 * 主要内容 5.1、 基本概念 5.2、 状态分类及性质 5.3、 极限定理及不变分布 5.4、 连续时间Markov链 二、 转移概率随机矩阵 三、 C-K方程 一、 Markov链的定义 【本节内容】 【重点、难点】 Markov链的定义 古希腊有句名言：“罗马不是一天建成的。” 中国亦有诗云：“冰冻三尺非一日之寒。” 可见，事物发展是与过去有关系的，有因，才有果. 然而，这节课要讲的一类随机过程却不具备这种性质，换言之，要确定过程将来的状态，不需要知道它过去的状况，只需知道它现在的情况就足够了. 此即“无后效性”(也叫Markov性). 具有“无后效性”的随机过程称为Markov过程. 本章主要 介绍最简单的两类：离散时间的Markov链 (简称Markov 链)和连续时间的Markov链. 与君共勉：“忘掉过去吧，无论是辉煌还是失败，那只 是过往云烟，总会随风飘去；只有把握当前，珍惜今天 的人，才能决定自己的未来。” 至此，我们接下来自然要问：对于Markov链而言， (1) 它的初始分布存在吗？ (2) 条件概率(**)是如何确定呢？ Answer to (1): 华罗庚先生给出答案：“Markov链必有其始.” Answer to (2): 该问题是Markov链理论和应用的重要问题之一，我们将在接下来的小节中予以说明。 我们先给出其定义： 注意: 今后我们所讲的都是时齐Markov链，并简称为 Markov链. Markov链的分类：若Markov链的状态是有限的，称为 有限链，否则称其为无限链. 接下来，我们讨论关于Markov链的一个重要概念： 转移概率矩阵 性质：转移矩阵P具有以下性质： 显然，随机矩阵的每一行元素之和为1. √ Markov链的定义 2. 何谓Markov性？ 3. Markov链的有限维分布族 由Markov性及乘法公式，知 填空题: Markov链的概率特征完全由( )和( )描述. 判断题：Markov 链是离散时间参数、离散状态的且满足 Markov性的随机过程. 例题： 证及解： 是离散状态的随机序列. 下证 Markov性. 从而， 是一Markov链. 进而，它的转移概率为 由题意易知， 在5.1.2节，我们学习了一步转移概率 ，(即Markov 链从状态 i 经过一步转移到 j 的概率). n步转移概率及n步转移矩阵 接下来我们讨论 注释 现在我们给出关于 和 的结论，即定理5.1. Chapman-Kolmogorov方程 Go on Proof