第5章动态规划解析.ppt

综 述 §5.1 多阶段决策问题 §5.2 最优化原理 §5.3 确定性的定期多阶段决策问题 §5.4 确定性的不定期多阶段决策问题 §5.1 多阶段决策问题 从A点到E点要铺设一条天然气管道， 中间必须经过三个中间站， 第一站可在B1、B2、B3中选择， 第二站可在C1、C2、C3中选择， 第三站可在D1、D2、D3中选择， 要求选择一条由A 到E的铺管路线，使总长度最短。 其中两点连线上的数字表示两点间管线的长度。 例2 多阶段资源分配问题 设有数量为x的某种资源，将它投入两种生产方式A和B中：以数量y投入生产方式A，剩下的量投入生产方式B，则可得到收入g(y)+h(x-y)，其中g(y)和h(y)是已知函数，并且g(0)=h(0)=0；同时假设以y与x-y分别投入两种生产方式A，B后可以回收再生产，回收率分别为a与b。试求进行n个阶段后的最大总收入。 例2 多阶段资源分配问题-续(1) 若以y与x-y分别投入生产方式A与B，在第一 阶段生产后回收的总资源为x1=ay+b(x-y)，再将x1 投入生产方式A和B，则可得到收入g(y1)+h(x1-y1)， 继续回收资源x2=ay1+b(x1-y1)，…… 若上面的过程进行n个阶段，我们希望选择n 个变量y,y1,y2,…,yn-1，使这n个阶段的总收入最大。 因此，我们的问题就变成：求y,y1,y2,…,yn-1，以使g(y)+h(x-y)+ g(y1)+h(x1-y1)+ …+g(yn-1)+h(xn-1-yn-1) 达到最大，且满足条件 x1=ay+b(x-y) x2=ay1+b(x1-y1) … … … xn-1=ayn-2+b(xn-2-yn-2) yi与xi均非负,i=1,2, …,n-1 例3 生产和库存问题 某工厂生产某种季节性商品，需要作下一 年度的生产计划，假定这种商品的生产周期需 要两个月，全年共有6个生产周期，需要作出 各个周期中的生产计划。 设第i个周期的生产量为xi，周期末的存储量为ui，那 么这个问题用式子写出来就是：求x1,x2,…,x6，满足条件： x1=5+u1， x2+u1=5+u2， x3+u2=10+u3 x4+u3=30+u4 ， x5+u4=50+u5， x6+u5=8 0 xi 30, 0 uj, i=1,2,…,6; j=1,2, …,5 使S= = 为最小，其中 例4.机金矿问题 两个金矿A,B分别有存储量x，y，现有一部开矿机器，如果开采金矿A，则以概率p1得储量x的r1倍（0 r11），并且机器没有损坏，可以继续再去开采金矿A或B。同时又以概率1- p1宣告失败，机器报废，也得不到金子；如果把这部开矿机器用以开采金矿B，则以概率p2得到储量y的r2倍（0r21），并且机器没有损坏，可以继续再去开采金矿A或B，同时又以概率1- p2宣告失败，机器报废，也得不到金子。 把机器用于开采金矿A或者B，如果机器没有损坏，将继续把机器用于开采金矿A或者B，直到机器损坏，问应该如何选择开矿的序列使获得金子的期望值最大。 例5 多阶段决策问题 有一个系统，可以分成若干个阶段，任意一个阶段k，系统的状态可以用xk表示（可以是数量、向量、集合等）。在每一阶段k的每一状态都有一个决策集合Qk(xk)，在Qk(xk)中选定一个决策qkQk(xk)，状态xk就转移到新的状态xk+1=Tk(xk,qk)，并且得到效益Rk(xk,qk)。我们的目的就是在每一个阶段都在它的决策集合中选择一个决策，使所有阶段的总效益达到最大。 这样的多阶段决策问题称为动态规划。 §5.3 最优化原理 动态规划最优化原理：一个过程的最优策 略具有这样的性质，即无论其初始状态及 其初始决策