连续时间马尔可夫链.pptVIP

第五章连续时间的马尔可夫链;§5.1连续时间的马尔可夫链;定义5.2过程在s时刻处于状态i,经过时间t后转移到状态j的概率pij(s,t)=P{X(s+t)=j|X(s)=i}称为转移概率.若转移概率与起始时刻s无关,只与时间间隔t有关,则称连续时间马尔可夫链具有平稳的或其次的转移概率,记为;连续时间马尔可夫链的性质;(2)设;由此可推出G(t)为指数函数,;定理5.1;注：转移概率的正则性条件;定义5.3;例5.1;所以;§5.2科尔莫哥洛夫微分方程;推论对有限齐次马尔可夫过程,有;二、柯尔莫哥洛夫方程;由切普曼-柯尔莫哥洛夫方程有;定理5.5(柯尔莫哥洛夫向前方程);定理5.6齐次马尔可夫过程在t时刻处于状态j?I的绝对概率pj(t)满足方程:;三、极限分布与平稳分布;例5.2;于是;进而有;转移概率为;转移概率的极限为;则过程在时刻t的绝对概率分布为;例中马氏链有两个状态I={0,1},那么;§5.3生灭过程;生灭过程的定义：;生灭过程的柯尔莫哥洛夫方程;故柯尔莫哥洛夫向前方程为;生灭过程的平稳分布;从上述推导过程可知;用记时刻系统中的人数,则;上述生灭过程称为M/M/s排队系统.;◎有迁入的线性增长模型;◎传染病模型;由于是相互独立的随机变量,