运筹学课程07-动态规划.ppt

动态规划 不要过河拆桥 追求全局最优 ? 多阶段决策过程的最优化 ? 动态规划的基本概念和基本原理 ? 动态规划方法的基本步骤 ? 动态规划方法应用举例 设有数量为y的某种资源，将它分别投入两种生产方式A和B，已知收益函数分别是g x 和h x ，x为资源投入量。设这种资源用于生产后还可以回收一部分用于生产，A、B的回收率分别为a和b（ 0≤a≤1，0≤b≤1 ）， 问：对总数量为y的资源进行n个阶段的生产，应如何分配每个阶段投入A、B的资源数量，才能使总收益最大？ 示例5（生产与存储问题）： 某工厂生产并销售某种产品。已知今后四个月市场需求预测及每月生产j个单位产品的费用如下： 每月库存i个单位产品的费用E i 0.5i 千元），该厂最大库存容量为3个单位，每月最大生产能力为6个单位，计划开始和计划期末库存量都是零，试制定四个月的生产计划，在满足用户需求条件下，使总费用最小。 决策 策略 每月库存i个单位产品的费用E i 0.5i 千元），该厂最大库存容量为3个单位，每月最大生产能力为6个单位，计划开始和计划期末库存量都是零，试制定四个月的生产计划，在满足用户需求条件下，使总费用最小。 对于生产与存储问题：某工厂生产并销售某种产品。已知今四个月市场需求预测如下表，又每月生产j个单位产品费用为 每月库存i个单位产品的费用E i 0.5i 千元），该厂最大库存容量为3个单位，每月最大生产能力为6个单位，计划开始和计划期末库存量都是零，试制定四个月的生产计划，在满足用户需求条件下，使总费用最小。 建模要素： 2、资源分配问题 一种机器能在高低两种不同的负荷状态下工作。设机器在高负荷下生产时，产量函数为P1 8u1，其中u1为在高负荷状态下生产的机器数目，年完好率为a 0.7，即到年底有70％的机器保持完好。在低负荷下生产时，产量函数为P2 5u2，其中u2为在低负荷状态下生产的机器数目，年完好率为b 0.9。设开始生产时共有1000台完好的机器，请问每年应该如何把完好机器分配给高、低两种负荷下生产，才能使得5年内生产的产品总产量最高。 解 建立动态规划模型： 分为5个阶段，每个阶段为1年。设状态变量sk表示在第k阶段初拥有的完好机器数目；k 1,2,3,4,5。 决策变量xk表示第k阶段中分配给高负荷状态下生产的机器数目；k 1,2,3,4,5。显然sk-xk为分配给低负荷状态下生产的机器数目。 状态转移方程为 阶段指标 rk sk,xk 8xk+5 sk-xk 最优指标函数 其中k 1,2,3,4,5。 f6 s6 0。 第5阶段： 因为f5 s5 是x5的线性单调增函数，故有x5* s5， 于是有f5 s5 8s5。 第4阶段： 同样地，f4 s4 是x4的线性单调增函数，有x4* s4 ， f4 s4 13.6s4。 对前几个阶段依次类推，可得 f3 s3 17.5s3， f2 s2 20.75s2， f1 s1 23.72s1。 因为期初共有完好机器1000台，故s1 1000。有f1 s1 23.72s1 ＝23720，即5年最大的产量为23720台。得最优解为 ， ， ， 。 这意味着前两年应把年初完好机器完全投入低负荷生产， 后三年应把年初完好机器完全投入高负荷生产。 下一步工作是确定每年初的状态，按照从前向后的顺序依次计算出每年年初完好的机器数目。已知s1 1000,根据状态转移方程，有: 上面所讨论的最优策略过程，初始端状态s1 1000台是固定的，终点状态s6没有要求。这种情况下得到最优决策称为初始端固定终点自由的最优策略。 如果终点附加一定的条件，则问题就称为“终端固定问题”。例如，规定在第5年度结束时仍要保持500台机器完好（而不是278台），应如何安排生产才能使得总产量最大？ 下面来分析： 根据终点条件有 可得 显然，由于固定了终点的状态，x5的取值受到了 约束。因此有 类似， 容易解得 ，f4 s4 21.7s4-7500。 依次类推，得 f3 s3 24.5s3-7500 f2 s2 27.1s2-7500 f1 s1 29.4s1-7500 再采用顺序方法递推计算各年的状态，有 s1 1000， 可见，为了使终点完好的机器数量增加到500台，需要安排前四年中全部完好机器都要投入低负荷生产，且在第5年，也只能全部投入高负荷。 相应的最优指标为 f1 s1 29.4s1-7500＝21900。 可以看到，因为增加了附加条件，总产量f1 s1 要比终点自由情况下的产量要低。 设具体数据如下： 由以上计算可知，本问题有两个决策，它们对应的最小费用都是115。 例（季节工问题）某工厂的生产任务随季节波动，为降低成本宜用季节临时工，但熟练的生产工人临时难