logo

您所在位置网站首页 > 海量文档  > 教学课件 > 大学课件

ch动态规划的基本方法.ppt 149页

本文档一共被下载: ,您可全文免费在线阅读后下载本文档。

  • 支付并下载
  • 收藏该文档
  • 百度一下本文档
  • 修改文档简介
全屏预览

下载提示

1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值,立即自动返金币,充值渠道很便利
解:为三台机器分配改造拨款,设拨款顺序为A, B, C,阶段序号反向编号为 k,即第一阶段计算给机器 C 拨款的效果。 设 sk 为第 k 阶段剩余款,则边界条件为 s3=5; 设 xk 为第 k 阶段的拨款额; 状态转移方程为 sk-1=sk-xk; 目标函数为 max R=(1-PA)(1-PB)(1-PC) 仍采用反向递推 第一阶段 :对机器 C 拨款的效果 R1(s1,x1)=d1(s1,x1)? R0(s0,x0)= d1(s1,x1) 第一阶段最优决策表 第二阶段 :对机器 B, C 拨款的效果 由于机器 A 最多只需 3 万元,故 s2 ? 2 递推公式: R2(s2,x2)=d2(s2,x2)? R1(s1,x1*) 例:R2(3,2)=d2(3,2)? R1(1,1)=(1-0.2) ?0.9=0.72 得第二阶段最优决策表 第二阶段最优决策表 第三阶段 :对机器 A, B, C 拨款的效果 边界条件:s3 = 5 递推公式: R3(s3,x3)=d3(s3,x3)? R2(s2,x2*) 例:R3(5,3)=d3(5,3)? R2(2,2)=(1-0.05) ?0.64=0.608 得第三阶段最优决策表 回溯 :有多组最优解。 I:x3=1, x2=3, x1=1, R3=0.8 ?0.9 ?0.9=0.648 II:x3=2, x2=2, x1=1, R3= 0.9?0.8?0.9=0.648 III: x3=2, x2=3, x1=0, R3= 0.9?0.9?0.8 =0.648 马尔可夫决策规划 马尔可夫决策规划简称马氏决策规划,其主要解决随机系统多阶段决策问题。 确定型系统与随机型系统的区别在于系统的状态转移过程是确定的还是随机的(但有某种随机规律)。 确定型系统,当第k阶段的状态 与决策 确定后,第k+1阶段的状态 就完全确定了。对整个过程来说,若初始状态 给定,又给定某一策略 ,则整个过程就完全确定了。 在随机系统中,即使给定第k段的状态 和 ,第 k+1段的状态也不能完全确定,而是一个随机变量,只 知道其概率分布。在初始状态 给定时,相应策略为 ,其中 为系统在第k段的状态集合 表明 要对第k段状态的一切可能值给定相应的决策。 一、马尔可夫过程 定义:有一类动态随机系统,其系统状态的转移规律具有无后效性,即已知现时系统所处 的状态,采取决策后虽不能预知下次系统将转 移到哪个状态,但下次转移到的状态所服从的 概率规律是已知的,且与系统之前的发展历史 无关,称这种系统状态的转移规律具有马尔可 夫性质,称这种过程为马尔可夫过程。 考虑一种简单的马氏过程,即状态和时间参数都是离散的马氏过程 假定相继两次转移之间的时间间隔为常数1;系统是有限的,即有N个状态,标以1至N编号。记系统在时刻t处于状态i,而在下一时刻t+1转移到状态j的概率为 应有 其中 表示系统逗留在状态i的概率,称 为状态转移矩阵。 例:有一工厂为市场生产某种产品,每月月初对产品 的销售情况进行一次检查,其结果又二:销路好(记 为状态1);也可能销路差(记为状态2)。若处于状 态1,由于各种随机因素的干扰,下月初仍处于销路好的概率为0.5,转为销路差的概率为0.5;若处于状态2 则下月初转为销路好的概率为0.4,仍处于销路差的概 率为0.6。则状态转移矩阵为 二、赋值马氏过程 定义:在具有N个状态的马氏过程,当它在任意时刻 从状态i 转移到状态j时可以获得相应的效益,记为 。 这种马氏过程随着状态转移可得到一系列的报酬(效 益),称其为赋值马氏过程。称 为报酬矩阵。 例:上例中工厂若某月初销路好,下月初仍销路 好可获利9千元,下月初转为销路差可获利3千元 若某月初销路差,下月初转为销路好可获利3千元,下月仍为销路差要亏本7千元。则报酬矩阵为 下面考虑系统经过一定阶段的运行后的总期望报酬。 记 为由状态i 做出一次转移的期望报酬,则有 称 为一次转移的期望报酬向量。记 为系统由状态i经过n次转移之后的总期望报酬,则 其中

发表评论

请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
用户名: 验证码: 点击我更换图片

“原创力文档”前称为“文档投稿赚钱网”,本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有【成交的100%(原创)】。原创力文档是网络服务平台方,若您的权利被侵害,侵权客服QQ:3005833200 电话:19940600175 欢迎举报,上传者QQ群:784321556