第五篇 马尔可夫过程-4.pdfVIP

5 马尔可夫过程 马尔可夫过程的概念 离散参数马尔可夫链 连续参数马尔可夫链 生灭过程及排队系统 5.4 生灭过程 5.4.1 定义 如果连续参数马尔可夫链{X (t), t ≥0}满足： （1）状态转移仅限于从一个状态向其邻近状态转移； （2）若X (t)= i，则在[t, t+ τ] 内由状态i转移状态i +1 的概率为 ；由状态i转移状态i -1 的概率为 ( ) ( ) ； ( ) ( ) μ t τ +ο τ λ t τ +ο τ i i 状态i不变的概率为1 −[λ (t ) +μ (t )]τ +ο (τ ) ； i i （3 ）若X (t)= i，则在[t,t+ τ] 内由状态i转移二个或二个以上状 态的概率为 o( τ) 。 则称该链{X (t), t ≥0}为生灭过程。 状态空间E={0,1,2,3,…}(状态无限); T=[0, ∞] 。 如果λ , μ 均是t 的函数，则称为非齐次生灭过程； i i 如果λ , μ 均是t 的线性函数，则称为非齐次线性生灭过程； i i 如果λ , μ均与t无关，则称为齐次生灭过程。 i i 5.4 生灭过程 5.4.2 转移概率 齐次生灭过程转移概率如下： (1) p (τ ) λτ +o (τ ), λ 0 ii +1 i i (2 ) p (τ ) μτ =+o (τ ), μ 0 , μ = 0 ii −1 i i 0 (3 ) p (τ ) 1 =− (λ + μ )τ +o (τ ) ii i i ( 4 ) p ij (τ ) o (τ ), | i =− j |≥ 2 . 可见，在一小段时间内，忽略高阶无穷小o( τ) ，生灭过程的状 态变化只有三种情况： （1）状态i转移至状态i +1，状态增加1，群体“生”了一个个体， “生长率”为λ ； i （2）状态i转移至状态i -1，状态减少1，群体“死”了一个个体， “灭亡率”为μ ； i （3 ）状态不增不减，群体个数不变。生灭过程所有状态都是相通的。 5.4 生灭过程 5.4.3 转移速率矩阵 根据转移速率的定义， ⎧ λ , j i =+1 i ⎪ p ij (τ) −δij ⎪ μ , j i =−1 q ij lim ⎨ i τ →0