第十一篇 马尔可夫链.pptVIP

Back * 第十一章 马尔可夫链 主要内容： 1. 定义（与记号） ???2.? 转移概率与矩阵 3. 遍历性 返回目录 1．马尔可夫性的定义： ⑴语言描述（一般性解释）： 由时刻 系统的状态，可以决定系统在t 时所处的状态，而与 以前系统的历史状态无关。如微分方程的定解问题。 对于随机现象，可以描述如下： 系统在 时刻所处的状态为已知的条件下，系统在时刻t 所处状态的条件分布与在时刻 之前所处的状态无关。 ⑵ 数学表达式： 先做一些假设： 随机过程设为X(t), 状态空间I={ }，任选T中n个时刻, ，对应的状态为 ，则 的马氏性就是这样一个条件分布函数： = ⑶ 马尔可夫链： 时间和状态都离散的马尔可夫过程称为马尔可夫链。 记为 ，状态空间I= 而相应的马尔可夫性用条件分布律示如下： = 2．转移概率： 记上面的条件概率为： 称为转移概率，它表示马氏链在时刻m处于状态的条件下，经过n步变化后，在时刻m+n处于状态的条件概率。 3．转移概率矩阵： 当上式中 取遍状态空间I时(此时假 设I有限)，会得到N ×N个转移概率,它们可以组成一个N × N 的矩阵，称为转移概率矩阵， 记为 它表现了马氏链经过n步后所有可能发生的状态之间的转移。 由概率的规范性，容易得到P(m,m+n)的一个性质:每一行元素横向相加等于1。 4. 齐次马氏链： 当 只与步数n有关，与起始时刻 m无关时，称此转移概率具有平稳性，或称此链是齐次马氏链。 可以记为 我们特别要掌握一步转移概率： 以及由它们组成的一步转移概率矩阵： 5．例题： 例2（ ）：在0—1传输系统中，设每一级的传真率为p，误码率为q=1-p,并设一个单位时间传输一级， 是第一级的输入， 是第n级的输出。那么｛ ｝ 是一个马氏链，而且还是齐次的，其状态空间I={0,1}。 例3．（ ）一维随机游动：设一质点在图示直线的点集I={1,2,3,4,5}上作随机游动，且仅在1秒﹑2秒等时刻发生游动。游动的概率规则是：如果点Q现在位于点i（1i5)，则下一时刻各以1/3的概率向左或向右移动一格，或以1/3的概率留在原处；如果Q现在位于1（或5）这点上，则下一时刻就以概率1移动到2（或4）这一点上。若以 表示时刻n时Q的位置,则 是一齐次马氏链，它的一步转移概率矩阵为： 例4． 排队模型：设服务系统由一个服务员 和只可以容纳两个人的等侯室组成。服务规则是先到先服务，后来者需在等候室排队。 假定一个顾客到达系统时发现系统内已有板有3个顾客，则该顾客即离去。设时间间隔Δt内有一个顾客进入系统的概率为q,有一原来被服务的顾客离开系统的概率为p。 又设当Δt充分小时，在这时间间隔内多于一个顾客进入或离开系统是不可能的。可用马氏链来描述这个服务系统 图 形 例6：（续例5）已知计算机在某一时段（15分钟） 的状态为0，问在此条件下从此时段起此计算机能连续正常工作3个时段的条件概率为多少？ 6．齐此马氏链的有限维分布： ⑴先看初始分布： 是一个离散型的随机 变量，其分布律称为初始分布，可以表为： 也可以用表格式： … … P … … （2）再来看任意时刻n的一维分布： 显然，由规范性有： 另外，可以用行向量来表示分布律： ⑶ 初始分布律与任意时刻n的分布律 之间的关系: 以 的各状态值分布为划分，运用全概率公式， 即可得到： 用矩阵乘法来表达如下： back 第二节 多步转移概率的确定 内容提要： 1. C--K方程形式 2. 方程的意义 3. 方程的证明 4. 例题 back 1．C--K方程： 设 是一齐次马氏链，对 任意的u,v T，有： 用矩阵表示即： P(u+v)=P(u)＊P(v) back 2．方程的意义： 如果设初始时刻s，终止时刻是s+u+v。 引入中间时刻s+u，C--K方程的意义在于： “从s时刻的状态 出发,经u+v步后转移到 状态＂ 这一事件等价于 “从 出发，先经u步转移到中间状态 ，再从 经时段v转移到