第八讲动态规划的基本方法.pptVIP

第八章 动态规划的基本方法 动态规划: 是求解多阶段决策问题的一种方法 或 途径 * * 一、动态规划 简介 动态规划所解决的问题：多阶段决策问题 动态规划的核心。 动态规划的应用。 动态规划的优缺点。 核心: 在于将问题公式化，也可以说，动态规划是将多阶段决策问题进行公式化的一种技术。 应用:工程、军事和商业等领域 优缺点:适用范围广，模型算法一体化，方便编程。一方面是大量的中间计算结果要求记录，造成对内存的较大需求；另一方面是由于没有统一的标准模型，使得动态规划的应用难度增加 。 在现实中，经常会碰到需要做前后相互关联的具有链状结构的多次决策才可以解决的问题，也经常会遇到一些经过巧妙设计后可以转化为具有上述多次决策特点而得以解决的问题，我们称这样的问题为多阶段决策问题。 例如，许多工程项目都能根据工程进度或者空间位置等，被分解成相应于整个事件的多个阶段来进行计划；许多涉及到要求回报最大的资金投入问题，都能通过将不同的投资方案表示成不同阶段的方式进行规划；也有一些静态规划(如线性规划、非线性规划等)在人为引入“时间”因素后，可以转化为多阶段决策的问题，而解决这些问题的最常用的就是动态规划方法。 二、多阶段决策问题（P194） 图8.1 例8.1示图 8.1 动态规划的基本概念和模型 8.1.1 动态规划的基本概念 结合实例来介绍动态规划的基本概念： 【例8.1】 如图8.1所示，在处有一水库，现需从点铺设一条管道A到E，弧上的数字表示与其相连的两个地点之间所需修建的渠道长度，请找出一条由A到E的修建线路，使得所需修建的渠道长度最短。 【例8.2】 未来四个月里，利用一个仓库经销某种商品。该仓库的最大容量为1000件，每月中旬定购商品，并于下月初取到订货。据估计：今后四个月这种商品的购价和售价，如表8-1所示。假定商品在第一个月初开始经销时仓库已经存有该种商品500件，每月市场不限，问：应如何计划每个月的订购与销售数量，使这四个月的总利润最大(不考虑仓库的存储费用)？ 表8-1 今后四个月这种商品的购价和售价 月份 购价 售价 1 10 12 2 8 9 3 11 13 4 15 17 记作： 动态规划 基本概念及符号（P196） 1.阶段与阶段变量 2.状态与状态变量 3.决策与决策变量 5.状态转移方程 4.策略 记作： 记作： 记作： 记作： 记作： ， 允许决策集 6.指标函数与最优函数 1. 阶段 是针对所给的问题，依据其若干个相互联系的不同部分，给出的对整个过程的自然划分。通常根据时间顺序或空间特征来划分阶段，以便按阶段的次序解决优化问题。从数学角度看，我们引入了一个变量来表示阶段，通常称为阶段变量，记作：。如果将整个问题分成了 个阶段，则 。如例8.1中，在从 到 的过程中，依据按位置所作决策的次数及所作决策的先后次序，将问题分为4个阶段，记为； 。例8.2中，在从第一个月到第四个月的整个经销过程中，依据按月所作决策的次数及所作决策的先后次序，将问题分为4个阶段，记为： 。 返回 等；在例2中， ， 。 2. 状态 就是决策者在作决策时所依据的某一阶段开始时或结束时所处的自然状况或客观条件，比如资源量、地理位置等，它描述过程的特征并且具有无后效性，即当某阶段的状态给定时，这个阶段以后过程的演变与该阶段以前的状态无关而只与当前的状态有关。描述第 阶段状态的变量就是状态变量，通常记作 。在例8.1中，每一阶段的位置就是这一阶段作决策时的自然状态，如 ；在例8.2中，每一阶段的库存量就是这一阶段作决策时的自然状态，如 等。通常，状态变量 的取值有一定的范围，称为第 阶段的状态可能集，记作 。如例1中， 返回 后，作决策，就是在相应的允许决策集内确定一组 ， 值，其结果是确定了下一阶段的状态 ，即仓库的库存量。 3. 在例8.1中，作决策，就是在所处位置选择下一步应遵循的路线，比如在状态 处作决策，就是从 中选取一条路线 ，此时如果再假设选取了路线，那么决策者在 处所作决策就是 ，即就是 ，而状态 处允许决策集就是 ，其结果是确定了下一阶段的状态 。在例8.2中，作决策，就是在当前第 阶段库存量为 的情况下，决定当月的定购量和销售量，在依次引入决策变量