- 1、本文档共46页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
马尔科夫链——概率与数理统计
第十一章 马尔科夫链 §11.1 马尔科夫过程及其概率分布 马尔科夫过程 若随机过程{X(t), t?T}对于任意的正整数n及 t1 t2…tn?T, 其条件分布满足 P{X (tn) xn| X(t1) = x1,…, X(tn-1) = xn-1} = P{X (tn) xn| X(tn-1) = xn-1}, xn?R 或写成 3. 转移概率 对任意得正整数n, r和0≤t1 t2 … tr m; ti , m, n+m ?T1有 其中ai? I. 则称条件概率 Pij(m,m+n) = P{Xm+n = aj |Xm = ai} 为马氏链在时刻m, 处于状态ai条件下,在时刻 m+n转移到状态aj的转移概率. 5. n步转移概率和n步转移矩阵 n步转移概率 : n步转移概率矩阵: 一步转移概率: 一步转移概率矩阵 : 例1. (0-1传输系统) 在如下图只传输数字0和1的串联系统中, 设每一级的传真率为p,误码率为q = 1-p(输出与输入数字相同的概率称为系统的传真率,相反情形称为误码率); 设一个单位时间传输一级, X0是第一级的输入,Xn是第n级的输出(n≥1), 那么 是一随机过程. 状态空间I={0,1},而且当Xn=i , i∈I为已知时, Xn+1所处的状态的概率分布只与Xn= i有关,而与时刻n以前所处的状态无关,所以它是一个马氏链,而且还是齐次的. 它的一步转移概率和一步转移概率矩阵分别为 和 例2 一维随机游动 设一醉汉Q在如下图点集I={1,2,3,4,5}上作随机游动,并且仅仅在1秒、2秒…等时刻发生游动.规律是:(1) 如果Q现在位于点i(1i5), 则下一时刻各以1/3的概率向左或向右移动一格,或以1/3的概率留在原处; (2) 如果Q现在位于1(或5)这点上,则下一时刻就以概率1移动2(或4)这一点上. 1和5这两点称为反射壁. 上面这种游动称为带有两个反射壁的随机游动. 若以Xn表示时刻n时Q的位置,不同的位置就是Xn的不同状态,那么{ Xn , n=0,1,2,…}是一随机过程,状态空间就是I,而且Xn=i, i ∈I为已知时, Xn+1所处的状态的概率分布只与Xn= i 有关,而与Q在时刻n以前如何达到是完全无关的,所以 { Xn , n = 0,1,2,…} 是一马氏链,而且还是齐次的,它的一步转移概率和一步转移概率矩阵分别为 如果把一这一点改为吸收壁,即是说Q一旦到达1这一点,则就永远留在点一上,相应链的转移概率矩阵只须把p中的第一横行改为(1,0,0,0,0). 总之改变游动的概率规则,就可得到不同方式的随机游动和相应的马氏链. 随机游动的思想在数值计算方法方面有重要应用. 例3 排队模型 服务系统组成:服务员(1个), 等候室(2人). 服务规则:先到先服务. 假定一顾客到达系统时发现系统内已有3个顾客,则该顾客即离去. 设时间间隔Δt内,有一个顾客进入系统的概率为q,有一原来被服务的顾客离开系统的概率为p. 设当Δt充分小时,在这个时间间隔内多于一个顾客进入或离开系统实际上是不可能的. 设有无顾客来到与服务是否完毕是相互独立的. 设Xn = X(nΔt )表示时刻 nΔt 时系统内的顾客数,即系统的状态. 是一随机过程,状态空间I={0,1,2,3} ,由前例的分析, 可知它是一个齐次马氏链. 下面来计算此马氏链的一步转移概率. p00 —表示在系统内没有顾客的条件下,经Δt 后仍没有顾客的概率(此处是条件概率,以下同) p00 = 1-q. p01 —表示在系统内没有顾客的条件下,经Δt 后有一顾客进入系统的概率,p01 = q. p10 —系统内恰有一个顾客正在接受服务的条件下,经Δt 后 系统内无人的概率,它等于在Δt 间隔内顾客因服务完毕而离去 ,且无人进入系统的概率,p10 = p(1 –q) p11—系统内恰有一顾客的条件下,在Δt 间隔内,他因服务完毕而离去,而另一顾客进入系统,或者正在接受服务的顾客将继续要求服务,且无人进入系统的概率, p11 = pq + (1-p)(1-q). p12 —正在接受服务的顾客继续要求服务,且另一个顾客进入系统的概率, p12 = (1-p)q. p13—正在接受服务的
您可能关注的文档
- 镭射室实习报告.doc
- 镇痛药——药理学.ppt
- 错误申请扣船损失赔偿纠纷案.doc
- 键盘基础知识一.ppt
- 长线优质股.doc
- 镶件的拆法.pdf.pdf
- 键鼠新品介绍五.ppt
- 长沙大学电信系红歌比赛主持稿.doc
- 长江电力年报.pdf
- 长纤维化合物成型工艺指南 Word 文档.doc
- 江苏省灌云高级中学2023-2024学年高三上学期第一次月考地理试题含答案.docx
- 备战2024年高考物理一轮重难点复习 第十三章 近代物理.docx
- 江苏省高邮市一中2021-2022学年高三上学期第一次月考语文试题(原卷版).docx
- 江苏省华罗庚中学2023-2024学年高三上学期12月阶段检测数学试卷含答案.docx
- 江苏省海门中学2023-2024学年高三上学期第一次调研考试地理试题及答案.docx
- 备战2024年高考物理一轮重难点复习 第九章 恒定电流.docx
- 江苏省高邮市2023-2024学年高三下学期3月学情调研数学试题含答案.docx
- 备战2024年高考物理一轮重难点复习 实验十一:探究影响感应电流方向的因素.docx
- 备战2024年高考物理一轮重难点复习 实验三:验证平行四边形定则.docx
- 备战2024年高考物理一轮重难点复习 第十四章 光.docx
文档评论(0)