第四章连续时间马尔科夫链.ppt

第四章连续时间马尔科夫链第1页，共17页，星期日，2025年，2月5日*定义：设随机过程{X(t),t≥0}，状态空间I={in,n≥0}，若对任意0≤t1t2…tn＋1及i1,i2,…,in+1∈I，有则称{X(t),t≥0}为连续时间马尔可夫链。上式中条件概率的一般表现形式为定义：若pij(s,t)的转移概率与s无关，则称连续时间马尔可夫链具有平稳的或齐次的转移概率，此时转移概率简记为其转移概率矩阵简记为第2页，共17页，星期日，2025年，2月5日*时间轴0ss+t状态i状态i持续时间τi在0时刻马尔可夫链进入状态i，而且在接下来的s个单位时间中过程未离开状态i，问在随后的t个单位时间中过程仍不离开状态i的概率是多少？第3页，共17页，星期日，2025年，2月5日*一个连续时间的马尔可夫链，每当它进入状态i，具有如下性质：当vi=∞时，称状态i为瞬时状态；一个连续时间马尔可夫链是按照一个离散时间的马尔可夫链从一个状态转移到另一个状态，但在转移到下一个状态之前，它在各个状态停留的时间服从指数分布，此外在状态i过程停留的时间与下一个到达的状态必须是相互独立的随机变量。1、在转移到另一状态之前处于状态i的时间服从参数为vi的指数分布；2、当过程离开状态i时，接着以概率pij进入状态j，当vi＝0时，称状态i为吸收状态。第4页，共17页，星期日，2025年，2月5日*定理：齐次马尔可夫过程的转移概率具有下列性质：正则性条件第5页，共17页，星期日，2025年，2月5日*定义对于任一t≥0，记分别称{pj(t),j∈I}和{pj,j∈I}为齐次马尔可夫过程的绝对概率分布和初始概率分布。定理齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：第6页，共17页，星期日，2025年，2月5日*定理设pij(t)是齐次马尔可夫过程的转移概率且满足正则性条件，则下列极限存在：无穷小转移概率矩阵引理设齐次马尔可夫过程满足正则性条件，则对于任意固定的i,j∈I，pij(t)是t的一致连续函数。第7页，共17页，星期日，2025年，2月5日*若连续时间齐次马尔可夫链是具有有限状态空间I={1,2,…,n}，则其转移速率可构成以下形式的矩阵Q矩阵的每一行元素之和为0，对角线元素为负或0，其余qij≥0第8页，共17页，星期日，2025年，2月5日*例题：证明泊松过程为连续时间齐次马尔可夫链，并求其pij、qij。例题：一个城市划分成两个区域A和B，各区被指定一辆消防车1和2负责。当接到报警电话时，不论其来自A区还是B区，只要有一辆消防车空闲就会被服务；当两辆车都忙时，呼叫被拒绝。假设两区的报警电话都是泊松分布（参数为λj，j=A，B），两辆车服务于不同区的时间为独立的指数分布（参数为μij，i=1，2，j=A，B），则两辆消防车的状态为连续时间齐次马尔可夫链。第9页，共17页，星期日，2025年，2月5日*定理（Kolmogorov向后方程）假设，则对一切i,j及t≥0，有定理（Kolmogorov向前方程）在适当的正则条件下，则对一切i,j及t≥0，有利用Kolmogorov向后方程或向前方程及下述初始条件，可以解得pij(t)第10页，共17页，星期日，2025年，2月5日*Kolmogorov向后和向前方程所求得的解pij(t)是相同的在实际应用中，当固定最后所处状态j，研究pij(t)时（i=0,1,…），采用向后方程较方便；当固定状态i，研究pij(t)时（j=0,1,…），采用向前方程较方便；Kolmogorov向后和向前方程的矩阵表达形式为连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题，其转移概率由其转移速率矩阵Q决定。若Q是一个有限维矩阵，则上述矩阵方程的解为第11页，共17页，星期日，2025年，2月5日*定理齐次马尔可夫过程在t时刻处于状态j∈I的绝对概率pj(t)满足下列方程定义设pij(t)为连续时间马尔可夫链的转移概率，若存在时刻t1和t2，使得则称状态i和j是互通的。若所有状态都是互通的，则称此马尔可夫链为不可约的。第12页，共17页，星期日，2025年，2月5日*转移概率pij(t)在t→∞时的性质及其平稳分布关系定理设连续时间的马尔可夫链是不可约的，则有下列性质：若它是正常返的，则极限存在且等于πj＞0，j∈I。这里πj是方程组的唯一非负解，此时称{πj,j∈I}是该过程的平稳分布，并且有若它