1140503102450451连续时间马尔可夫链.doc

5 连续时间马尔可夫链 5.1引言 本章中我们考虑与离散时间马尔可夫链类似的连续时间马尔可夫链。如离散情形一样，它们由马尔可夫性刻画，即已知现在的状态时将来与过去独立。 在5.2节中。我们定义连续时间马尔可夫链且把它们与第四章的离散时间马尔可夫链相联系。在5.3节中，我们引入一类重要的连续时间马尔可夫链，即所谓生灭过程。这些过程可用作在任何时刻其总量的变化仅为一个单位的群体的模型。在5.4节中，我们导出两组描述系统的概率规律的微分方程——向前与向后方程。5.5节的内容是确定连续时间马尔可夫链的有关的极限（或长时间后的）概率。在5.6节中，我们考虑时间可逆的问题。其中，我们证明一切生灭过程是时间可逆的，而后阐明这事实对于排队系统的重要性。在这一节中也提供了时间可逆性对随机群体模型的应用。在5.7节中，我们阐明逆向链的重要性，即使过程不是时间可逆的。利用它我们研究排队网络模型。导出爱尔朗消失公式，分析共用加工系统。5.8节中我们表面如何“一致化”马尔可夫链——对于数值计算有用的一种技巧。 5.2连续时间马尔可夫链 考虑取非负整数值的连续时间随机过程，与第四章中给出的离散时间马尔可夫链的定义类似，过程称为连续时间马尔可夫链，如果对一切及非负整数，，，有 换言之，连续时间马尔可夫链是具有马尔可夫性的随机过程，即已知现在时是状态及一切过去的状态的套件下在将来时刻的状态的条件分布只依赖现在的状态而与过去独立。若又有与无关则称连续时间马尔可夫链具有平稳的或其次的转移概率。将假定我们所考虑的马尔可夫链都有平稳转移概率。 假设在某时刻，比如说时刻0，马尔可夫链进入状态，而且假设在接下来的个单位时间中过程未离开状态（即未发生转移）。在随后的个单位时间中过程仍不离开状态的概率是多少呢？为了回答这个问题。注意到因为在时间过程处于状态，从马尔可夫性得在区间中它仍然处于状态的概率正是他处于状态至少个单位时间的（无条件）概率。也即若以记过程在转移到另一状态之前停留在状态的时间，则对一切有 因此，随机变量是无记忆的必有指数分布。 事实上，上面的讨论给了我们构造连续时间马尔可夫链的一个方法。也即它是一个具有如下性质的随机过程，每当它进入状态： (i)在转移到另一状态之前处于状态i的时间服从指数分布，参数为 (ii)当过程离开状态i时，接着以某个概率。譬如，进入状态就j，。 的状态称为瞬时状态。因为一旦进入此状态立即就离开。尽管这种状态在理论上是可能的，我们将始终假设对一切，。（如果，则称状态为吸收的，因为一旦进入这一状态就永不再离开了。）因此，实际上一个连续时间马尔可夫链是一个这样的随机过程，它按照一个（离散时间）的马尔可夫链从一个状态转移到另一个状态，但在转移到下一状态之前，他在各个状态停留的时间服从指数分布。此外在状态过程停留的时间与下一个到达的状态必须是独立的随机变量。因为若下一个到达的状态依赖于，那么过程处于状态已有多久的信息与下一个状态的预报有关——这就与马尔可夫假定矛盾了。 一个连续时间马尔可夫链称为规则的，若以概率1在任意有限时间内的转移次数是有限的。一个非规则的马尔可夫链的例子是 能够证明这个马尔可夫链总是从状态到，停留在状态的时间服从均值为的指数分布，它将以正的概率在任意长为，（）的时间区间内作无限多次转移。然而我们从现在起将假设所考虑的全部马尔可夫链是规则的（在习题中将给出规则性的某些充分条件）。 对一切，定义为 因为是过程离开状态的速率而是它转移到的概率，所以是过程从状态转移到状态的速率；事实上我们就称是从到的转移速率。 以记马尔可夫链现在处于状态，再经过一段时间后处于状态的概率，即 5.3生灭过程 具有状态0,1，的连续时间马尔可夫链称为生灭过程，若时。于是一个生灭过程是一个连续时间马尔可夫链，具有状态，它从状态只能转移到状态或。过程的状态通常看作为某个群体的总量，当状态增长1时，我们就说生了一个；而当它减少1时，我们就说死了一个。设与为 值与分别称为生长率与死亡率。因为，可见 因此，我们可以这样设想生灭过程，每当系统中有个人时，直到下一次出生的时间服从参数为的指数分布，且独立于直到下一次死亡的时间，它服从参数为的指数分布。 例5.3（a） 两个生灭过程 （i）M/M/s排队系统。假设顾客按照参数为的泊松过程来到一个有个服务员的服务站，