马尔可夫过程的概率分布594.pptVIP

马尔可夫过程的概率分布 * 研究时间和状态都是离散的随机序列 1. 用分布律描述马尔可夫性 有 称条件概率 说明: 转移概率具有特点 2. 转移概率 由转移概率组成的矩阵 称为马氏链的转移概率矩阵. 此矩阵的每一行元素之和等于1. 它是随机矩阵. 3. 平稳性 有关时, 称转移概率具有平稳性. 同时也称此链是齐次的或时齐的. 称为马氏链的n步转移概率 一步转移概率 特别的, 当 k = 1 时, 一步转移概率矩阵 的状态 记为P 证明 由独立增量过程的定义知, 即有 例1 说明: 泊松过程是时间连续状态离散的马氏过程; 维纳过程是时间状态都连续的马氏过程. 设一个单位时间传输一级, 如图: 分析: 例2 只传输数字0和1的串联系统( 传输系统) 而与时刻 n 以前所处的状态无关. 所以它是一个马氏链, 且是齐次的. 一步转移概率 一步转移概率矩阵 例3 一维随机游动 游动的概率规则 1/3的概率向左或向右移动一格, 或以1/3的概率留 在原处; 如果Q 现在位于点 i (1 i 5),则下一时刻各以 以概率1移动到2 (或4) 这一点上. 如果Q 现在位于1(或5)这点上, 则下一时刻就 1和5这两点称为反射壁. 上面这种游动称为带有两个反射壁的随机游动. 　　模拟方法:产生均匀分布的随机数序列132322 11122…,其中1表示左移;2表示不动;3表示右移. 理论分析: 状态空间就是I . 而与时刻 n 以前所处的状态无关. 所以它是一个马氏链, 且是齐次的. 一步转移概率 说明: 相应链的转移概率矩阵只须把P 中第1行改为 改变游动的概率规则, 就可得到不同方式的 随机游动和相应的马氏链.如果把点 1 改为吸收壁, 一步转移概率矩阵 解 例4 例5 解 解 例6 排队模型 设服务系统由一个服务员和只可以容纳两个人的等候室组成: 服务规则 假定一个需要服务的顾客到达系统时发现系统内已 先到先服务, 后来者需在等候室依次排队. 有3个顾客(一个正在接受服务, 两个在等候室排队), 则该顾客立即离去. 随机到达者 系 　 统 等候室 服务台 离去者 例7 分析 假设: 有一原来被服务的顾客离开系统 (即服务完毕)的 进入或离开系统实际上是不可能的. 3. 再设有无顾客来到与服务是否完毕是相互独立 的. 以下用马氏链来描述这个服务系统. 系统状态 可知它是一个齐次马氏链. 在系统内没有顾客的条件下,