可逆马氏链(钢中文).pptVIP

Networking Theory Fundamentals Lecture 5 September, 2003 Topics Time-Reversal of Markov Chains Reversibility Truncating a Reversible Markov Chain Burke’s Theorem Queues in Tandem Time-Reversed Markov Chains 假定{Xn: n=0,1,…} 为遍历的马氏链, 转移概率为 Pi,j , 唯一的平稳分布为 (πj 0). 假定过程从－∞开始, 即{Xn:n=…,－n,…, -1, 0,1,…} , 则系统在时刻n的状态概率 Pr{Xn=j}= 平稳分布πj . 任意 τ0，定义 Yn=Xτ-n, 过程{Yn}是原马氏链的时间逆转过程. 可以证明{Yn}也是马氏链(见书215页),转移概率为 而且和{Xn} 有相同的平稳分布 πj 通过逆向链可看出正向链的某些性质； Reversibility 马氏链{Xn}称为可逆的如果正向链和逆向链有相等的转移概率:Pi,j=Pi,j*, 等价于{Xn} 满足DBE. 定理1. 如果能找到一组正数 {πj}, 其和为1,且满足: πiPi,j=πjPj,i, 则该马氏链是可逆的且以{πj}为平稳分布.  Reversibility – Discrete-Time Chains Example: Discrete-time birth-death processes are reversible, since they satisfy the DBE 重要定理 Theorem 1:对转移概率为 Pij.的不可约马氏链，如果存在: 一组转移概率 Qij, 满足 ∑j Qij=1, i ≥ 0, 和一组整数 {πj}, 其和为1, 并且下式成立 则: Qij 为其逆向链的转移概率 {πj} 同时既是正向链也是逆向链的平稳分布 Remark: 上述定理常用来计算平稳分布：根据马氏链的结构性质猜出两组数Qij,和{πj},验证是否满足(1)：如果满足，则该马氏链是可逆链且以{πj}为平稳分布，而Qij 为逆链的转移概率. Continuous-Time Markov Chains 设{X(t): -∞ t ∞}是不可约的遍历的连续时间马氏链，转移率为 qij, i≠j 设(pi 0) 为它的唯一的平稳分布: 仍假定过程从-∞开始，则在有穷时间t链处于平稳态: P{X(t)=j}=pj 令Y(t)=X(τ-t)，则 以下命题成立: Reversed Continuous-Time Markov Chains Proposition 2: {Y(t)} 也是连续时间马氏链，转移率为: {Y(t)} 和正向链有相同的平稳分布: {pj} Remark: 逆向链离开i 的转移率等于正向链离开i 的转移率： 这是GBE的另一表达形式:逆向链的“出”＝正向链的“入” Reversibility – Continuous-Time Chains 马氏链称为可逆的如果： 或等价的: 此即DBE Theorem 3: 如果有一组正数{pj},其和为 1 且满足:则: {pj} 是唯一的平稳分布 该马氏链是可逆的 Birth-Death Process 转移率为 满足DBE Proof: GBE with S ={0,1,…,n} give: M/M/1, M/M/c, M/M/∞是可逆马氏链 重要的定理 Theorem 4: 对有转移率qij. 的不可约马氏链，如果存在: 一组转移率 , 满足 ∑j≠i φij=∑j≠i qij, i ≥ 0, 和 一组正数{pj}, 其和为 1, 使得以下方程成立: 则: φij 是逆向链的转移率,且 {pj} 是正向和逆向链的相同的平稳分布 上述定理用来解马氏链：guess两组数φij和{pj}，验证上述条件 状态转移率图是树结构的马氏链 Theorem 5:状态转移率图有树结构的马氏链是可逆的. Burke’s 定理 假设N(t)为一生灭过程,有平稳分布{pj} N(t) 的向上跳跃点为到达点.N(t) 的向下跳跃点为离开点.N(t) 包括了系统的到达和离开过程 Burke’s Theorem 如λj=λ, for all,则到达为Poisson. 这时称此过程为 (λ, μj)-过程 M/M/1, M/M/c, M/M/∞为(λ, μj)-过程 Poisson arrivals → LAA: