清华大学运筹学6动态规划.pptx

第七章 动态规划/151第一节 多阶段决策过程优化第二节 基本概念和原理第三节 模型与求解第四节 在管理中应用第七章 动态规划/151是优化多阶段决策过程的一种方法。1957年，美国数学家贝尔曼(R. Bellman) 发表了该领域第一本专著《动态规划》(Dynamic Programming)。用于解决最优路径、资源分配、生产与库存、投资、装载、排序等以及过程最优控制等问题。思路独特，对于某些问题，比线性或非线性规划方法有效。Richard Ernest Bellman completed his doctoral studies in Princeton and remained there as Assistant Professor of Mathematics after the award of his doctorate but in 1948 he left to take up the position of Associate Professor of Mathematics at Stanford University. During the following summer he worked at RAND.Born: 26 August 1920 in Brooklyn, New York CityDied: 19 March 1984 in Los Angeles /151动态规划模型的分类：①离散确定型；②离散随机型；③连续确定型；④连续随机型。本章主要介绍离散确定型，思想、原理和方法，为解决其他类型问题打基础。/151第一节 多阶段决策过程最优化 有些过程，可按先后分解成若干相互联系的“时段”，每一时段都要做出的决策，构成一个决策序列，这就是多阶段决策问题。 多阶段决策要达到整个过程总体效果最优。某阶段决策影响下阶段决策及总体效果。 每一阶段决策，不仅应谋取本阶段最优，还应考虑对最终目标的影响，从而做出对全局来讲是最优的决策。/151 动态规划就是随着时间的推移逐段做出决策。 如果研究对象可分离为若干部分，分别考虑，就可视这若干部分为若干时段，用动态规划方法处理之。 现举例如次。/151例1 生产与存贮问题 某厂每月需供应市场一定量产品，余者存入仓库。一般说来，各月适当增加产量可降低生产成本，但存入仓库会增加库存费用。如何安排各月产量，才能既满足市场需求，又减少全年生产与存储费用总和呢？ 可逐月考虑，但要顾及全年生产与存储费用总和。/151例2 投资决策问题 某公司有资金Q万元，今后5年要投入A、B、C和D四个项目。各项目投资回收期和收益率不同，问：如何安排各年投资额，才能使第5年末的资金总额最大。 该问题可按5阶段决策问题处理。/151例3 设备更新问题 设备越到后来，维修费越多。但买新设备一次性支出较多。企业要制订一台设备未来8年的更新计划。经预测，第j年的买价为Kj，设Gj为用过j年后的残值，Cj为连续用j-1年后第j年的维修费(j=1，2，…，8)，问：哪一年更新总费用最小？ 可视为8阶段决策问题，每年年初要做出决定，是继续用，还是购买新的。/151第二节 动态规划基本概念和原理一、基本概念 用动态规划模型表达和解决实际问题，要用到以下概念：(1)阶段；(2)状态；(3)决策和策略。 下面以实例说明之。/151/151例4 最短路线问题 要从A向F铺输油管道，问管线如何走，总长度才最短？线上的数字表示距离。(1)阶段 将过程或整体，按时间或空间分解成若干互相联系的时段或部分，以便逐一求解，用k表示阶段(k=1, 2, …, 5)。从A到F可分5阶段，每一阶段之初都有多个选择。 请注意，并不是所有的问题都能分解。/151/151(2)状态 用sk表示各阶段开始状态，称为状态变量。 sk取值全体称为状态集合，用Sk表示。 当某阶段sk给定后，以后过程的发展不受该阶段以前各阶段状态的影响。当前状态是过去历史的一个完整总结，过程的历史只能通过当前状态影响未来的发展，该性质称为无后效性。不具备后效性的变量不能充当状态变量。/151在例4中， S1={A}， S2={B1，B2} S3={C1, C2, C3, C4} S4={D1, D2, D3} S5={E1, E2}当某段初始状态已选定时，从这个点以后的铺管路线只与该点有关，不受以前的铺管路线影响，所以满足状态的无后效性。/151? (3)决策和策略 uk(sk)表示第k阶段处于sk状态时的决策变量。决策变量的取值范围，称为允许决策集合，用Dk(sk)表示。uk(sk)Dk(sk)。 例4中，从第2阶段状态B1出发，可选下一阶段C1，C2或C3，即允许决策集合为： D2(B1)={C1,