random-c5.ppt

随 机 过 程 第五章 连续时间的 马尔可夫链 秦平 5.1 连续时间的Markov链 5.1.1 定义 5.1.2 转移概率 正则性条件 5.1.3 初始概率和绝对概率 定理5.2 5.1.4 停留时间的概率 证明 状态 应用 5.2 科尔莫戈罗夫微分方程 转移速率 Q矩阵 微分方程 总结 绝对概率 互通 渐近性质 例 解法1： 解法2： 解法3： 求其平稳分布。 或者 5.3 生灭过程 Q矩阵 平稳分布 例 应用:排队系统 本章小结 有关连续时间Markov链的 定义和转移概率 转移速率矩阵Q 科尔莫戈罗夫微分方程 渐近性质 生灭过程 练习题 结束 ! 5 连续时间的马尔可夫链 * 分类： 设随机过程{X(t)，t ?0 }，状态空间I={0,1,2,?}，若对任意0?t1 t2?tn+1及i1,i2, ?,in+1 ?I ，有 P{X(tn+1)=in+1|X(t1)=i1, X(t2)=i2,?, X(tn)=in} =P{X(tn+1)=in+1|X(tn)=in}， 则称{X(t)，t ?0 }为连续时间马尔可夫链 例：某时刻电话呼叫次数X(t) 可维修系统在某时刻系统所处的状态X(t) 转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率 pij(s,t)= P{X(s+t)=j|X(s)=i} 齐次转移概率：pij(s,t)=pij(t) (转移概率与起始时刻s无关，只与时间间隔t有关) 转移概率矩阵： P(t)=(pij(t)) ，i,j?I，t ?0 性质： 式(3)为连续时间齐次Markov链 的Chapman-Kolmogorov方程 P(s+t)=P(s)P(t) 转移概率的正则性条件: 过程刚进入某状态不可能立即又跳跃到另一状态。 定义： (1)初始概率 (2)绝对概率 (3)初始分布 (4)绝对分布 有限维概率分布 记?i为过程在状态转移之前停留在状态i的时间，则对s,t?0有 (1) (2) ?i 服从参数为vi指数分布： F?(x)=1-e-vx (3) 当过程离开状态i时，接着以概率pij进入状态j 注：在状态i过程停留的时间与下一个到达的状态必须是相互独立的随机变量。 s s+t 0 ?i i i i t i j s s+t 0 ?i i i i t i 过程在状态转移之前处于状态i的时间?i服从指数分布 (1)当vi=?时 状态i的停留时间?i 超过x的概率为0，则称状态i为瞬时状态； (2)当vi=0时， 状态i的停留时间?i 超过x的概率为1，则称状态i为吸收状态。 连续时间Markov链的构造 (1)状态i的停留时间?i～E(vi) (2)过程离开状态i时，以概率Pij进入状态j 引理5.1 设齐次马尔可夫过程满足正则性条件，则对于任意i,j?I，pij(t)是t的一致连续函数。 转移概率的正则性条件: 若连续时间齐次马尔可夫链具有有限状态空间I={0,1,2,?,n} 利用Q可以推出任意时间间隔的转移概率所满足的方程组，从而求解转移概率。 Q= P? (0) 定理5.5 (科尔莫戈罗夫向前方程) 在适当的正则条件下有 P?(t)=P(t)Q P?(t)=QP(t) 向后方程：P?(t)=QP(t) 向前方程：P?(t)=P(t)Q P?(t)为P(t)的导数 初始条件： 定理5.6 齐次马尔可夫过程在t时刻处于状态j?I的绝对概率pj(t) 满足方程: 定义5.4 设pij(t)是连续时间马尔可夫链的转移概率，若存在时刻t1和t2，使得pij(t1)0， pji(t2)0，则称状态i与j是互通的。 若所有状态都是互通的，则称此马尔可夫链为不可约的。 计算机中某一触发器。触发器状态变化{X(t),t0}是连续时间马尔可夫链，I={0,1},状态转移概率为 求P(t)和平稳分布 思路：P(t)—方程—Q 向前方程： P?(t)=P(t)Q， P(+0)=I 解： 拉氏反变换 pij(t)极限存在且与i无关，存在平稳分布 此Markov链是不可约的 平稳分布: * * 5 连续时间的马尔可夫链