5随机过程第五章马尔可夫过程.pptVIP

修复时间小于设转移概率矩阵要求(t=10)固定j.求，利用后退方程而前进方程解微分方程组t=0时(3)（3）代入（1）(4)解的形式(5)利用初始条件求、t=0时(5)代入(4)t=0作业：1、利用福克-普朗克方程求解机器维修问题。2、有K个通道的电话交换机。如果当所有K条线都被占用，一次呼叫到来则被丢失了。如呼叫电话的到来服从强度为的泊松过程，每次呼叫时间统计独立。服从均值为的指数分布。用X(t)表示t时刻通道占用数。写出Q矩阵。7、纯不连续马尔可夫过程的平稳分布对时间连续、状态有限的马尔可夫过程，如存在，使则有即若为遍历状态，转移概率的极限分布与平移分布相同。即当时，即达到平稳后故由福克-普朗克方程可求平移分布或极限分布设平稳分布为则有求解，即为稳态分布而对一般过程，须状态分类、空间分解。如存在非常返态的闭集，则存在平稳分布，或具体问题具体分析，判断平稳分布是否存在。例如：对机器维修问题1）利用定义求解存在极限分布和稳态分布时2）可用福克-普朗克方程求解3）利用动态平衡法，状态转移率图也得到方程结果相同。可利用前进、后退方程讨论其转移概率。福克-普朗克方程讨论其绝对概率。01*例具有一个反射壁的随机游动，向右移动一格的概率为p，向左移动一格的概率为q，状态空间为{0,1,2,3,…}，各状态之间是相通，是不可约的马尔可夫链，求平稳分布。解：转移概率为其它设平稳分布为0123j根据动态平衡法，将状态空间分为{0}、{1,2,3,…}得到将状态空间分为{0,1}、{2,3,…}，可得同理又当时，收敛，为正常返链。平均返回时间为，状态j距离0状态越远，平均返回时间越长。当时，，发散，为零常返链，平均返回时间为无穷。当时，，发散，非常返链，无极限分布。5、5状态离散参数连续的马尔可夫过程

纯不连续的马尔可夫过程一．基本概念与性质1．定义随机过程，时间参数集合可数状态空间，对任意n个时刻，状态，均有则为一连续时间的可数状态的马尔可夫过程，或纯不连续的马尔可夫过程。如泊松过程、生灭过程等。此过程参数连续，状态可数，系统处于某个状态不变，直到某个瞬间状态发生跳跃到另一状态。此后一直停留在这一状态中知道发生新的跳跃为止。状态在t1,t2发生跳跃，随机变量，跳跃大小也随机。假定右连续，在跳跃点进入状态X(t)=X(t+0)0t1t2t3t42.转移概率两时刻状态3．C-K方程马氏链此时或二．齐次的纯不连续马尔可夫过程若状态可数的马尔可夫过程的转移概率只与转移的时间差有关（