随机过程2马尔可夫过程.ppt

柯尔莫哥洛夫微分方程 令人遗憾的是:前式右边极限与求和的次序交换并不恒成 立.不过在大多数模型中--包括全部生灭过程和全部有限 状态的模型,是成立的. 定理5.5(柯尔莫哥洛夫向前方程)在适当的正则条件下 p’ij(t)= pik(t)qkj-qijpij(t). 利用定理5.4和定理5.5中的方程组以及初始条件 pii(0)=1, pij(0)=0,i≠j. 便可解得pij(t).柯尔莫哥洛夫向后方程和向前方程虽然 形式不同,但它们所求得的pij(t)是相同的. 在实际应用中,当固定回后所处状态j,研究pij(t)时(i =0,1,…),采用向后方程较方便;当固定状态i,研究pij(t) 柯尔莫哥洛夫微分方程 时(j=0,1,…),则采用向前方程比较方便. 向后方程和向前方程可以写成矩阵形式: p’(t)=QP(t); p’(t)=P(t)Q. 式中 矩阵p’(t)的元素是矩阵p(t)的元素的导数,这 -q00 q01 q02 … q10 -q11 q12 … q20 q21 -q22 … … … … … Q= P(t)= p00(t) p01(t) p02(t) … p10(t) p11(t) p12(t) … p20(t) p21(t) p22(t) … … … … … 柯尔莫哥洛夫微分方程 这样,连续时间马尔可夫链的转移概率的求解问题就化 成矩阵微分方程的求解问题,其转移概率由其转移速率矩 阵Q决定. 特别,如果Q是一个有限维矩阵,则向后方程和向前方程 矩阵形式的解为: p(t)=eQt= . 定理5.6 齐次马尔可夫过程在t时刻处于状态j∈I的绝对 概率pj(t)满足下列方程 p’j(t)=-pj(t)qjj+ pk(t)qkj. 证明: 由定理5.2,有 pj(t)= pipij(t) 柯尔莫哥洛夫微分方程 将定理5.5中向前方程式的两边同乘以pi,并对i求和,得 pip’ij(t)= (-pip’ij(t)qjj)+ pip’ik(t)qkj, 故有 p’j(t)=-pj(t)qjj+ pk(t)qkj. 与离散马尔可夫链类似,以下讨论转移概率pij(t)当t→ ∞时的极限分布与平稳分布的有关性质. 定义5.4 设pij(t)为连续时间马尔可夫链的转移概率,若 存在时刻t1和t2,使得pij(t1)＞0,pji(t2)＞0,则称状态 i与j是互通的. 若所有状态都是互通的,则称此马尔可 夫链为不可约的. 关于状态的常返性及非常返性等概 念与离散马尔可夫链类似,此处不再一一定义. 柯尔莫哥洛夫微分方程 下面定理(不加证明)给出:转移概率pij(t)在t→∞时的 性质及其与平稳分布的关系. 定理5.7 设连续时间的马尔可夫链是不可约的,则该链具 有下列性质: (1)若它是正常返的,则极限lim pij(t)存在且等于πj (＞0),j∈I.这里πj是方程组 πjqjj= πkqkj, πj=1 的惟一非负解.此时称{πj,j∈I}为该过程的平稳分布 并且有lim pj(t)=πj. (2)若它是零常返的或非常返的,则 t→∞ t→∞ 柯尔莫哥洛夫微分方程 lim pij(t)=lim pj(t)=0, i,j∈I. 在实际应用中,有些问题可以用柯尔莫哥洛夫方程直接 求解,有些问题虽不能直接求解,但可以用定理5.7(1)中方 程求解. 以下讨论几个在应用中有一定代表性的例题. 例5.2 考虑两个状态的连续时间马尔可夫链,在转移状态 1之前链在状态0停留的时间是参数为λ的指数变量,而在 回到状态0之前,它停留在状态1的时间是参数为μ的指数 变量. 显然, 该链是一个齐次马尔可夫过程,其状态转移概率 为: p01(h)=λh+o(h), p10(h0=μh=o(h). t→∞ t→∞ 柯尔莫哥洛夫微分方程 由定理5.3知 q00=lim =lim = p01(h)|h=0=λ=q01, q11=lim =lim = p10(h)|h=0=μ=q10. 由柯尔莫哥洛夫向前方程得 p’00(t)=μp01(t)-λ