第三章马尔科夫过程.doc

第三章 马尔科夫过程 马尔科夫（Markov）过程是无后效性的随机过程。它在近代物理、生物学、管理科学、信息与计算科学等领域都有重要应用。本章主要介绍马尔科夫过程的定义、转移概率及其关系、转移概率的极限性态，并着重讨论马尔科夫链以及两种特殊的马尔科夫过程---泊松过程和维纳过程。 §3.1 马尔科夫过程及其转移概率分布 一、马尔科夫过程概念 在自然界中有一类随机过程具有所谓的无后效性：当过程在时刻所处状态为已知时，过程在时刻所处状态的概率特征仅与过程在时刻所处状态有关，而与过程在时刻所处状态无关。如果把时刻作为“现在”，把时刻之后的时刻作为“将来”，把时刻之前的时刻作为“过去”，那么无后效性也可解释为：过程在已知现在状态的条件下，将来的状态仅与现在的状态有关，而与过去的状态无关。 例1．一个质点在实轴上做随机移动，它在零时刻处于原点位置，每个单位时间左移或右移一个单位长度。左移的概率为，右移的概率为。该质点在第个单位时刻到达的位置记为，这是一个随机序列。很显然，已知质点的现在位置，将来的情况仅与现在的位置有关，而与过去的情况无关。所以随机序列具有无后效性。 例2．电话交换台在时刻之前（时间内）到来的呼唤次数是一个随机过程。已知现在时刻之前到来的呼唤次数，未来时刻之前到来的呼唤次数仅与时刻之前到来的呼唤次数有关，这是因为时间内到来的呼唤次数等于时间内到来的呼唤次数加上时间内到来的呼唤次数，而内到来的呼唤次数与时刻之前到来的呼唤次数相互独立。因此，随机过程具有无后效性。 例3．将一颗花粉粒子放在水面上，由 于水分子的撞击，它在水面上随机地游动， 这种游动在物理学中称为布朗运动。在水面 上作直角坐标系，取花粉粒子运动的起点位 置为原点。花粉颗粒在时刻所处位置的横坐 标和纵坐标分别记为和。显然花粉颗 粒的随机游动具有无后效性，因而和 都是无后效性的随机过程。 定义1：设随机过程的状态空间为,如果对于任意的,且，