第十章动态规划研讨.ppt

第八章 动态规划 本章主要内容： §1 动态规划的基本概念和方法 §2 动态规划的基本原理 §3 动态规划与静态规划的关系 §4 动态规划的应用举例 §5 正确使用计算机软件求解 重点掌握:1.动态规划的基本概念和原理 2.正确建立动态规划的模型 3.动态规划的应用举例 §1动态规划的基本概念和方法 动态规划是解决多阶段决策过程最优化问题的一种方法。 是现代企业管理中的一种重要决策方法。 用于解决最优路径问题、资源分配问题、生产计划与库存问题、投资问题、排序问题及生产过程的最优控制等问题。 在处理某些优化问题时，常比线性规划或非线性规划方法更有效。 1.1 多阶段决策过程的最优化 多阶段决策过程： 指这样一类特殊的活动过程，它们可以按时间顺序分解成若干相互联系的阶段，在每一阶段都要做出决策，全部过程的决策是一个决策序列。 多阶段决策过程最优化的目标，是要达到整个活动过程的总体效果最优，所以多阶段的决策并不是各阶段决策的简单总合。 由于各阶段决策间有机地联系着，本段决策的执行将影响到下一阶段的决策，以至于影响总体效果，所以决策者在每阶段决策时不应仅考虑本阶段最优，还应考虑对最终目标的影响，从而做出对全局来讲是最优的决策。 动态规划就是符合这种要求的一种决策方法。 动态规划方法与“时间”关系密切，随着时间过程的发展而决定各阶段的决策，产生一个决策序列，这就是“动态”的意思。 对于静态问题，只要在问题中人为地引入“时间”因素，将问题看成多阶段的决策过程即可。 例1：生产与存贮问题 某工厂每月需供应市场一定数量的产品。供应需求所余产品应存入仓库，一般地，某月适当增加产量可降低生产成本，但超产部分存入仓库会增加库存费用，要确定一个逐月的生产计划，在满足需求条件下，使一年的生产与存贮费用之和最小。 把每月作为一个阶段，全年分为12个阶段逐次决策。 例2；投资决策问题 某公司现有资金Ｑ万元，在今后5年内考虑给Ａ、Ｂ、Ｃ、Ｄ四个项目投资，这些项目的投资期限、回报率均不相同，问应如何确定这些项目每年的投资额，使到第5年末拥用资金的本利总额最大。 看作5阶段决策问题。 例3：设备更新问题 企业在使用设备时都要考虑设备的更新问题，因为设备越陈旧所需的维修费用越多，但购买新设备则要一次性支出较大的费用。现在某企业要决策一台设备未来8年的更新计划，已预测了第j年购买设备的价格为kj，rj为设备经过j年后的残值，cj为设备连续使用j-1年后在第j年的维修费（j=1~8)，问应在哪年更新设备可使总费用最小。 这是一个8阶段决策问题。 1.2动态规划的基本概念 (1)阶段 (2)状态 (3)决策和策略 (4)状态转移 (5)指标函数 例4、最短线路问题(状态)(决策)(方程)(目标)(思想) 设某厂Ａ要把一批货运到Ｅ城市出售，中部可经过①~⑧城市，各城市间的交通线及距离如下图，问应选择什么路线，可使总距离最短？ 例5：生产与存贮问题：某工厂生产并销售某种产品，已知今后4个月市场需求预测如下表，每月生产j单位产品费用为： c(j)=3+j 千元 (j=1~6) 。每月库存j单位产品的费用为E(j)=0.5j(千元)。该厂最大库存容量为3个单位，每日最大生产能力为6个单位，计划开始和计划期末库存量都是零。试制定4个月的生产计划，在满足用户需求条件下总费用最小。假设第i+1个月的库存量是第i 个月可销量与该月用户需求量之差。而第i 个月的可销售量是本月初库存量和产量之和。(状态)(决策)(方程)(目标) (1)阶段(Stage) 把问题的过程，按时间或空间特征分解成若干互相联系的阶段，以便按次序去求每阶段的解，常用k表示阶段变量。 在例4和例5中，可知问题属于多阶段决策。 例4，可把从Ａ到Ｅ看成一个4阶段问题。 例5，把每个月作为一个阶段，共分为4个阶段。 (2)状态(State) 各阶段开始时的自然状况或客观条件，叫状态。 描述各阶段状态的变量为状态变量。 常用sk表示第k阶段的状态变量，状态变量sk的取值集合用状态集合Sk表示。 例4，第一阶段的状态为Ａ，第二阶段有三个状态，城市①、②、③。状态变量s2的集合S2={①、②、③} , S3= {④、⑤、⑥} 例5，把每月月初的产品库存量作为状态 动态规划的状态具有如下性质： 当某阶段状态给定以后，在这阶段以后过程的过去历史不受这段以前各段状态的影响。 即过程的过去历史只能通过当前状态去影响它未来的发展，称为无后效性。 如果所选的变量不具备无后效性，就不能作为状态变量来构造动态规划模型。 如例4中，当某段的初始状态所在的城市选定后，从这个城市以后的运货路线只与这个城市有关，不受