应用随机过程5.1Markov链答辩.ppt

第五章 Markov 链 主要内容 5.1、 基本概念 5.2、 状态分类及性质 5.3、 极限定理及不变分布 5.4、 连续时间Markov链 本章的教学目的和要求： 1、理解Markov链的定义，了解与之相关的概念和实际应用背景. 2、掌握状态分类的标准和性质. 3、了解极限定理及不变分布. 4、理解连续时间Markov链的定义及性质，了解Kolmogrov方程和生灭过程. 第一节 基本概念 二、 转移概率随机矩阵 三、 C-K方程 一、 Markov链的定义 【本节内容】 【重点、难点】 Markov链的定义 引入： 古希腊有句名言：“罗马不是一天建成的。” 中国亦有诗云：“冰冻三尺非一日之寒。” 可见，事物发展是与过去有关系的，有因，才有果. 然而，这节课要讲的一类随机过程却不具备这种性质，换言之，要确定过程将来的状态，不需要知道它过去的状况，只需知道它现在的情况就足够了. 此即“无后效性”(也叫Markov性). 具有“无后效性”的随机过程称为Markov过程. 本章主 要介绍最简单的两类：离散时间的Markov链 (简称 Markov链)和连续时间的Markov链. 5.1.1 Markov 链的定义 至此，我们接下来自然要问：对于Markov链而言， (1) 它的初始分布存在吗？ (2) 条件概率(**)是如何确定呢？ Answer to (1