第四章连续时间马尔科夫链.pptVIP

* 第四章：连续时间的马尔可夫链 连续时间马尔可夫链定义 无穷小转移概率矩阵 Kolmogorov向前方程与向后方程 连续时间马尔可夫链的应用 * 定义： 设随机过程{X(t),t≥0}，状态空间I={in, n≥0}，若对任意0≤t1t2… tn＋1及i1,i2,…,in+1∈I，有 则称{X(t),t≥0}为连续时间马尔可夫链。 上式中条件概率的一般表现形式为 定义： 若pij(s,t)的转移概率与s无关，则称连续时间马尔可夫链具有平稳的或齐次的转移概率，此时转移概率简记为 其转移概率矩阵简记为 * 时间轴 0 s s+t 状态i 状态i持续时间τi 在0时刻马尔可夫链进入状态i，而且在接下来的s个单位时间中过程未离开状态i，问在随后的t个单位时间中过程仍不离开状态i的概率是多少？ * 一个连续时间的马尔可夫链，每当它进入状态i，具有如下性质： 当vi=∞时，称状态i为瞬时状态； 一个连续时间马尔可夫链是按照一个离散时间的马尔可夫链从一个状态转移到另一个状态，但在转移到下一个状态之前，它在各个状态停留的时间服从指数分布，此外在状态i过程停留的时间与下一个到达的状态必须是相互独立的随机变量。 1、在转移到另一状态之前处于状态i的时间服从参数为vi的指数分布； 2、当过程离开状态i时，接着以概率pij进入状态j， 当vi＝0时，称状态i为吸收状态。 * 定理： 齐次马尔可夫过程的转