随机过程4-1 4-2马尔科夫过程的直观描述教程文件.ppt

具有有限多个状态的马尔科夫链简称为有限马尔科夫链。 马尔科夫链理论中一个重要问题是讨论当 时 转移概率 的极限。 四、遍历性 在讨论遍历性时常需要区分状态空间是有限的还是无 限的。 此时可设它的状态空间 。又设具有无限多 个状态马尔科夫链的状态空间为 定义 若马尔科夫链转移概率的极限 ??? (２.15) 存在，且与 i 无关，则称此马尔科夫链具有遍历性。 ?????? (2.16) 事实上，前者由转移概率的非负性即得，而后者在等式 中让 可得。此时，我们称 为转移概率的极限分布。 易知，对有限马尔科夫链，上述得到的 构成一个概率分布。即有 由 , 有 , 让 得 ， 再让 得所需结果。此时转移概率的极限不一定构 成概率分布。 但对于具有无限多个状态的马尔科夫链，仅能得到 前者是显然的，而后者的证明如下： ?(2.16) 如果 满足 ，则称它是转移概率 的极限分布。 以下我们考察当马尔科夫链具有遍历性时，绝对概率 的极限情况。 即 ???(2.17) ??这里 ，表示有限多个或无限多个自然数。 在（2．13）式中，让 ，得 （2．17）式表明绝对概率的极限与转移概率的极限是 相同的。这说明讨论转移概率的极限已经足够，而绝对概 率分布的极限自然地可以被得到。 需要指出,上面推导中的第二个等号成立，用到了极限号与 和号交换次序的知识。对有限马尔科夫链，和号为 ，等 号显然成立；对 的情形，等号成立需用到数学分析中的 一致收敛性。 (2.17) 当马尔科夫链极限分布存在时，它的遍历性表示系统经 过相当长时间以后达到平衡状态，此时系统处于各个状态 的概率不随时间而变，亦不依赖于初始状态。 在（2.7）式中，取 l =1， 得 (2.19) (2.18) 对具有遍历性的马尔科夫链，让 ，有??????? (2.7) 第4章 马尔科夫过程 第*页 马尔科夫过程是一类重要的过程，它在信息理论、自动 控制、数值计算、交通运输、工程技术及生物科学等方面 都有着广泛的应用。 第四章 马尔科夫过程 本 章 介 绍 马尔科夫过程的基本概念 时间离散状态离散的马尔科夫链 时间连续状态离散的马尔科夫过程 ———泊松过程 时间连续状态连续的马尔科夫过程 ———维纳过程 §1 马尔科夫过程的直观描述 马尔科夫（Markov）过程是具有无后效性的随机过程。 所谓无后效性是指：当过程在时刻 所处的状态为已知 时，过程在大于 的时刻 所处状态的概率特性只与过 程在时刻 所处的状态有关，而与过程在 时刻以前的 状态无关。 如果把时刻 作为“现在”， 以后的时刻作为“将来”， 以前的时刻作为“过去”，那么无后效性也可解释为： 过程在已知现在状态的条件下，将来的状态只与现在的 状态有关，而与过去的状态无关。 例1（直线上的随机游动） 一个醉汉在路上行走，以概率p前进一步，以概率1-p后退 一步（假定步长相同），以 X(n) 记他 在时刻 n 路上的位 置，则{X(n)，n ≥0 } 是随机过程。 很明显，已知质点现在的位置，将来的情况只与现在的 位置有关，而与过去的情况无关。随机游动具有无后效性， 所以它是一个马尔科夫过程。 例2 电话交换站在 t 时刻前来到的呼唤数 X(t)（即时间 [0, t ]内来到的呼唤数）是一个随机过程。 已知现在 时刻前来到的呼唤数，未来时刻 t 前来到的呼唤数只依赖于 时刻前来到的呼唤数，这是 因为[0,