第五章MarkovProcess马尔卡夫过程(1).pptVIP

* 期末考试 时间： 1月18日 （星期四）9:00—11:00 地点： 6教301 方式： 闭卷 考试范围：第一章到第五章 考试内容：从作业题中选题 第五章 Markov Process (马尔可夫过程) 马尔可夫过程具备“无后效性” 在这一章，我们介绍Markov Process 的最简单的两种类型：离散时间离散状态Markov链，连续时间离散状态Markov链。 马尔可夫过程广泛应用于计算机、通讯、自动控制、随机服务、可靠性、生物学、经济、管理、教育、气象、物理、化学等众多领域。 也就是说，这些领域中的许多现象可以用马尔可夫过程来近似描述，从而进行分析。 首先我们先说明什么是离散状态。对定义在概率空间 上的一个随机过程 , 显然它的元素是从 到实数域 的一个函数。如果 的值域只包含有限个或可数个元素 那么可以用 来表示 我们称 为随机过程的离散状态空间，它的元素称为离散状态。 5.1 基 本 概 念 定义5.1(Markov链). 随机过程 被称为Markov链， 如果对任意的 ，有 (5.1.1) 公式(5.1.1)刻画了Markov链的无后效性。 5.1.1