9.动态规划wp.ppt

第八章 动态规划 动态规划 Dynamic programming 五十年代贝尔曼(B. E. Bellman)为代表的研究成果 属于现代控制理论的一部分 以长远利益为目标的一系列决策 最优化原理，可归结为一个递推公式 第一节 多阶段决策过程及实例 解： k=6 f6(F1)=4 f6(F2)=3 k=3 f3(C1)=13 u3(C1)=D1 f3(C2)=10 u3(C2)=D1 f3(C3)=9 u3(C3)=D2 f3(C4)=12 u3(C4)=D3 第二节 动态规划的基本概念和基本方程 一、动态规划的基本概念 1、阶段(k=1、2、3、4、5、6) 2、状态(无后效性) 3、决策 u(A)=B1 4、策略 P1n(S1)={U1(S1), U2(S2),…, Un(Sn)} 子策略 Pk,n(Sk)={Uk(Sk), Uk+1(Sk+1),…, Un(Sn)} 二、动态规划的基本方程 第三节 动态规划的最优性原理和最优性定理 一、思想 作为整个过程的最优策略具有这样的性质：即 无论过去的状态和决策如何，对前面的状态所形 成的决策而言，余下的诸决策必需构成最优策略。 简而言之，一个最优策略的子策略总是最优的。 设阶段数为n的多阶段决策过程，其阶段划分为k=0,1,…,n-1。 允许策略p*0,n-1=(u0*,u1*,…un-1*)是最优策略的充要条件是对 于任意一个k(0kn-1)和 证明： 若允许策略p*0,n-1是最优策略， 对于任意一个k(0kn-1)， 它的子策略p*k,n-1对于以 第四节 动态规划的求解方法 第一节 一维资源分配问题 例1 某公司有9个推销员在全国三个不同市场推销货物，这三个市场里推销人员数与收益的关系如下表，试作出使总收益最大的分配方案。 例1 第一阶段：给第三市场分配 s1 有0－9种可能，第一阶段最优决策表如下： 例1 第二阶段：给第二市场分配 s2 有0~9种可能，第二阶段最优决策表如下： 例1 第三阶段：给第一市场分配 由边界条件 s3=9，第三阶段最优决策表如下： 在资源分配问题中，还有一类要考虑资源回收利用问题，这里决策变量为连续值，故称为资源连续分配问题。这类问题一般描述如下： 设有数量为s1的某种资源，可投入A和B两种生产。第一年若以数量u!投入生产A，剩下的量s1-u1就投入生产B，则可得收入为g(u1)+h(s1-u1)，其中g(u1)和h(u1)为已知函数，且g(0)= h(0)=0 。这种资源在投入生产A、B后，年终还可回收再投入生产。设年回收率分别为0a1和0b1，则在第一年生产后，回收的资源量合计为s2=au1+b(s1-u1)。第二年再将资源数量s2的u2和s2-u2分别投入A、B两种生产，如此继续n年，试问：应当如何决定每年投入A生产的资源量u1,u2,…,un，才能使总收入最大？ 例2 机器负荷分配问题（见书P219－221） 第二节 生产与存贮问题 设某公司要制定一项n个阶段的生产计划。已知初始库存为零，每阶段该产品的数量有上限的限制；每阶段社会对该产品的需求量是已知的，在n阶段末库存为零。问该公司如何制定每个阶段的生产计划，使产品总成本最低。 例3 某工厂生产某种产品的月生产能力为10件，已知今后四个月的产品成本及销售量如表所示。如果本月产量超过销售量时，可以存储起来备以后各月销售，一件产品的月存储费为2元，试安排月生产计划并做到： 1、保证满足每月的销售量，并规定计划期初和期末库存为零； 2、在生产能力允许范围内，安排每月生产量计划使产品总成本(即生产费用加存储费)最低。 产品生产计划安排 设xk为第k阶段生产量，则有直接成本 dk(sk, xk)= ck xk+2sk 状态转移公式为 sk-1= sk+ xk- yk 总成本递推公式 第一阶段最优决策表 第二阶段：最大可能库存量 7 件 由状态转移方程： s1=s2+x2?12?0 及 x2?10，可知 s2?[2,7]，min x2=5 由阶段效果递推公式有：f2(2,10)=d2(2,10)+f1*(0,6) =2?2+80?10+456=1260 得第二阶段最优决策表，如下 第二阶段最优决策表 第三阶段：最大可能库存量 4 件 由状态转移方程： s2=s3+x3?7?2 及 x3?10，可知 s3?[0,4]，min x3=5 由阶段效果递推公式有：f