l第5章动态规划.pptVIP

运筹学（交通运输） 什么是动态规划 动态规划是解决多阶段决策过程最优化的一种方法。 1951年美国数学家贝尔曼（R·Bellman）等人提出了解决这类问题的“最优化原理”，并研究了许多实际问题。 什么是动态规划 在工程技术、企业管理、工农业生产及军事部门中都有广泛应用：解决最优路径问题、资源分配问题、生产调度问题、库存问题、装载问题、排序问题、设备更新问题、生产过程最优控制问题等等。 动态规划模型分类：离散确定型、离散随机型、连续确定型、连续随机型。 5.1多阶段决策问题的最优化 多阶段决策问题，是指可将过程划分为若干个互相联系的阶段，在它的每一个阶段都需要作出决策，并且一个阶段的决策确定以后，常影响下一阶段的决策，从而影响整个过程的活动。 各个阶段所确定的决策就构成一个决策序列，通常称为策略。 5.1多阶段决策问题的最优化 由于每一个阶段可供选择的决策往往不只一个，因而就有许多策略可供选择。 多阶段的决策问题，就是要在允许选择的那些策略中，选择一个最优策略，使在预定的标准下达到最好的效果。  5.1多阶段决策问题的最优化 阶段往往可以用时段来表示。 在各个时间阶段，采用不同的决策是随时间而变动的，这就有“动态”的含义。 它是在时间的推移过程中要在每一段选择最恰当的决策，以期整体上达到最优。 5.1多阶段决策问题的最优化 动态规划在一定条件下也可以解决一些与时间无关的问题，只要人为地引进时段因素以后，这些问题就可变为一个多阶段决策问题。 5.1多阶段决策问题的最优化 例1 生产与存贮问题 某工厂每月需供应市场一定数量的产品，并将所余产品存入仓库。一般某月适当增加产量可降低生产成本，但超产部分存入仓库会增加库存费用。要求确定一个逐月的生产计划，在满足需求条件下，使一年的生产与存贮费用之和最小。 全年分为12个阶段逐次决策。 5.1多阶段决策问题的最优化 例2投资决策问题 某公司现有资金Q万元，在今后5年内考虑给A，B，C，D 4个项目投资，这些项目投资的回收期限、回报率均不相同，问该公司应如何确定这些项目每年的投资额，使到第5年末拥有资金的本利总额最大。 这是一个5阶段决策问题。 5.1多阶段决策问题的最优化 例3设备更新问题 企业在使用设备时都要考虑设备的更新问题，因为设备越陈旧所需的维修费用越多，但购买新设备则要一次性支出较大的费用；现某企业要决定一台设备未来8年的更新计划，已预测了第j年购买设备的价格为Kj，设Gj为设备经过j年后的残值，Cj为设备连续使用j-1年后在第j年的维修费(j＝1，2，…，8)，问应在哪些年更新设备可使总费用最小。 这是一个8阶段决策问题 5.1多阶段决策问题的最优化 例4：最短路线问题 5.2动态规划的基本概念和基本原理 5.2.1 动态规划的基本概念 使用动态规划方法解决多阶段决策问题，首先要将实际问题写成动态规划模型，此时要用到以下概念： (1)阶段； (2)状态； (3)决策和策略； (4)状态转移； (5)指标函数。 5.2.1 动态规划的基本概念 阶段和阶段变量： 将所给问题的过程，按时间或空间特征分解成若干互相联系的阶段，以便按次序去求每阶段的解，常用字母k表示阶段变量。 例4中，从A到F, 可以分成从A到B(B有两种选择)，从B到C(C有四种选择)，从C到D(D有三种选择)，从D到E(E有两种选择)，再从E到F,五个阶段。k＝1，2，3，4，5。 5.2.1 动态规划的基本概念 5.2.1 动态规划的基本概念 在例4中，第一阶段状态为A,第二阶段状态：B1，B2，或s1=A， s21=B1 ，s22= B2。 状态变量的集合: S1 = {A} S2 ＝ {B1，B2 } S3 ＝ {C1，C2， C3，C4 } S4 ＝ {D1，D2，D3} S5 ＝ {E1，E2 } 5.2.1 动态规划的基本概念 动态规划中的状态应具有如下性质： 代表性。能够反映过程的演变特征。 可知性。能够通过某种方式，直接或间接地确定下来。 无后效性。所谓无后效性，是指某阶段的状态，只对该阶段状态以后过程的演变起作用，而不受以前各阶段状态的影响。 这就是说，过程的过去历史只能通过当前的状态去影响它的未来的发展，当前的状态就是未来过程的初始状态 5.2.1 动态规划的基本概念 5.2.1 动态规划的基本概念 5.2.1 动态规划的基本概念 决策和决策变量: 决策就是某阶段状态给定以后，从该状态演变到下一阶段某状态的选择。 描述决策的变量，称为决策变量。 常用uk(sk)表示第k阶段当状态为sk时的决策变量。 在实际问题中，决策变量的取值往往限制在一定范围内，我们称此范围为允许决策集合，常用Dk