09第五章连续时间马尔可夫链.pptVIP

第五章：连续时间的马尔可夫链 连续时间马尔可夫链定义 无穷小转移概率矩阵 柯尔莫哥洛夫向前方程与向后方程 连续时间马尔可夫链的应用 Q矩阵和柯尔莫哥洛夫方程 Q矩阵和柯尔莫哥洛夫方程 * * 定义5.1： 设随机过程{X(t),t≥0}，状态空间I={in, n≥0}，若对任意0≤t1t2…tn＋1及i1,i2,…,in+1∈I，有 则称{X(t),t≥0}为连续时间马尔可夫链。 上式中条件概率可以写成转移概率的形式 定义： 若pij(s,t)的转移概率与s无关，则称连续时间马尔可夫链具有平稳的或齐次的转移概率，此时转移概率简记为 其转移概率矩阵简记为 时间轴 0 s s+t 状态i 状态i持续时间τi 在0时刻马尔可夫链进入状态i，而且在接下来的s个单位时间中过程未离开状态i，问在随后的t个单位时间中过程仍不离开状态i的概率是多少？ 无记忆性 一个连续时间的马尔可夫链，每当它进入状态i，具有如下性质： 在转移到另一状态之前处于状态i的时间服从参数为vi的指数分布； 当过程离开状态i时，接着以概率pij进入状态j， 当vi=∞时，称状态i为瞬时状态； 当vi＝0时，称状态i为吸收状态。 对于指数分布的随机变量X 定理5.1： 齐次马尔可夫过程的转移概率具有下列性质：