计算机通信基础排队论.pptVIP

计算机通信基础排 队 论 北京邮电大学计算机学院 2009年9月 第二章 马尔可夫链（Markov Chain） 一 离散时间的马尔可夫链 二 连续时间的马尔可夫链 三 生灭过程 四 泊松过程 随机过程 设R表示全体实数，对任一实数t，X(t)是一个随机变量，则随机变量族{X(t),t?R}称为一个随机过程 随机过程分类的三个主要因素 状态空间 离散状态空间（称之为链Chain） 连续状态空间 时间t 离散时间（常把随机变量记做Xn，称之为随机序列stochastic sequence） 连续时间（X(t),称为随机过程 stochastic process) 不同时间上随机变量之间的依赖关系 马尔可夫链的产生 1907年马尔可夫发表论文，定义并研究了一种随机过程的性质，就是我们现在所称的马尔可夫过程。the dependence goes only one step back. 离散状态空间的马尔可夫过程就是马尔可夫链 （Kleinrock）What he created was a simple and highly useful form of dependency among the random variables forming a stochastic process, which we now describe 第二章 马尔可夫链第一节 离散时间的马尔可夫链 1 离散时间的马尔可夫链 定义 设X={Xn，n=0,1,2,3….}是一个随机过程，Xn取值为0,1,2,3…，即状态空间E={0,1,2,3…}， 用“Xn=i”表示时刻n系统X处于状态i这一事件。 称 pij(n) = P(Xn+1=j | Xn=i) 为在事件“Xn=i”出现的条件下，事件“Xn+1=j”出现的条件概率。 1 离散时间的马尔可夫链 定义 如果对任意的非负整数i1,i2,….,in-1,i,j及一切n?0有 P (Xn+1=j | Xn=i, Xk=ik, k=0,1,2,…,n-1) =P (Xn+1=j | Xn=i ) =pij(n) 则称X是一离散时间的马尔可夫链(Markov Chain)。 (Kleinrock) The Markov property insists that the past history be completely summarized in the specification of the current state. 马尔可夫性举例 例1 统计通过路口的车辆。设Xn表示时刻n时已通过的车辆数，已知n=10的车辆数，要想知道n=15时的车辆数，只要统计10-15时之间通过的车辆数情况就可以了。因此，车流具有马尔可夫性。 马尔可夫性举例 例2 假定每个细菌经过一个时间单位分裂一次或走向死亡，如果已知时刻i时刻的细菌数Xi，求时刻j（ji）时的细菌数Xj，只要知道从时刻i时的情况推算就可以了，因而｛Xn｝也是一个马尔可夫链 2 齐次马尔可夫链 当pij(n)与起始时刻无关时，则称为齐次的马尔可夫链。此时可将pij(n)记为pij 称pij为系统的一步转移概率。 把一布转移概率写成矩阵形式： 称为一步转移矩阵 矩阵元素性质： 一步转移概率矩阵举例 齐次马氏链一步转移概率矩阵为 3　n步转移概率　 齐次马尔可夫链中，称 pij(n) =P (Xn=j | X0=i) =P (Xm+n=j | Xm=i) 为马尔可夫链X的n步转移概率 也可写成矩阵的形式 称为n步转移矩阵 4 K-C方程 n步转移概率矩阵举例 5 初始分布 绝对概率 P(Xn = i)记做 ,为齐次马尔可夫链的绝对概率 若记pi＝P(X0 = i)，则有 称{pi，i?E}为齐次马氏链X的初始分布。 pi即为0时刻时马尔可夫链的绝对概率 5 初始分布 绝对概率 第n步绝对概率＝初始分布×n步转移概率 6 平稳分布 若极限 存在，且唯一 则称为{?i}系统的平稳分布 6 平稳分布 6 平稳分布 平稳分布举例 齐次马氏链一步转移概率矩阵为 平稳分布举例 根据求平稳分布公式 得 平稳分布举例 解之得： 为平稳分布的值 平稳分布举例 三种初始分布对瞬时概率和平稳分布的影响 A. 初始分布[1,0,0]: B.初始分布[0,1,0]: 平稳分布举例 C.初始分布[0,0,1]: 可以看出 不论初始分布如何，系统的瞬时概率总是很快的趋近于平稳分布的取值 瞬时分布趋近平稳分布的速度与转移矩阵P有关 * * Markov Xn n 0 10 15 500 ? 0 m