运筹学-5-动态规划培训资料.ppt

运筹学-5-动态规划;第五章 动态规划;概述;主要内容;A;A;A;A;§1 动态规划的研究对象和引例; 1、 生产决策问题 企业在生产过程中，由于需求是随时间变化的，因此企业为了获得全年的最佳生产效益，就要在整个生产过程中逐月或逐季度地根据库存和需求决定生产计划。; 2、机器负荷分配问题; 3、线性规划、非线性规划等静态的规划问题也可以通过适当地引入阶段的概念，应用动态规划方法加以解决。;A;2、状态、状态变量; 在最优控制中也称为控制。;A;1; 构造动态规划模型时，要充分??意状态变量是否满足无后效性的要求；;A;A;7、指标函数和最优值函数;常见的指标函数的形式是：; ? 过程和它的任意子过程的指标是它所包含的各阶段的指标的乘积。即;A;多阶段决策过程的数学模型：（具有无后效性，以和式为例）;小结:;;§3 动态规划的基本思想和基本方程;;;最优决策函数序列｛uk ｝： ;;最优性原理(R. Bellman )： “一个过程的最优策略具有这样的性质：即无论其初始状态及初始决策如何，对于先前决策所形成的状态而言，余下的诸决策仍构成最优策略。”;动态规划的最优性定理：设阶段数为 n 的多阶段决策过程，其阶段编号为k=0,1,...,n-1。允许策略 p*0, n-1= ( u*0, u*1, …, u*n-1 ) 是最优策略的充要条件是: 对任意一个 k, 0 < k < n-1和 s0 ? S0，有;证明：必要性;36; 推论：若允许策略 p*0, n-1 是最优策略，则对任意的 k ，0< k < n-1，它的子策略 p*k, n-1 对于以 s*k = Tk-1 (s*k-1, u*k-1 )为起点的 k 到 n-1子过程来说，必是最优策略。（注意：k 段状态 s*k ，是由 s0 和 p*0, k-1 所确定的）;动态规划（逆序法）小结:; 3.函数 ?k（sk，uk，Vk+1, n）对于变量 Vk+1, n 要严格单调。 求解时从边界条件开始，逆（或顺）过程行进方向，逐段递推寻优。 每段决策的选取都是从全局考虑的，与该段的最优选择答案一般是不同的。 在求整个问题的最优策略时，由于初始状态是已知的,每段的决策都是该段状态的函数，故最优策略所经过的各段状态便可逐次变换得到，从而确定了最优路线。;解：可列出静态规划问题的模型如下; 分阶段：; 指标函数;当阶段k=2时，有;所以;解：; 4、基本方程;因此最后可得：;动态规划的优缺点; 设有某种原料，总数量为 a，用于生产 n 种产品。若分配数量 xi 用于生产第 i 种产品，其收益为 gi ( xi )，问应如何分配，才能使生产 n 种产品的总收入最大？; 例3 某公司拟将5台某种设备分配给所属的甲、乙、丙三个工厂，各工厂若获得这种设备，可以为公司提供的盈利如表。 问：这五台设备如何分配给各工厂，才能使公司得到的盈利最大。 ;;;解：将问题按工厂分为三个阶段，甲、乙、丙分别编号为1，2，3。;Dk ( sk )={ uk|0? xk ? sk };x3*(0) = 0;;;x2*(1) =1;x2*(2) =2;x2*(3) =2;;s2 = 5;结果列于下表：;x2 s2;结果可写成表格的形式; 最优分配方案二：由 x1* = 2，根据 s2 = s1 - x1* = 5- 2 = 3，查表知 x2*= 2，由 s3 = s2 - x2*= 3 - 2 =1，故 x3* = s3 =1。即得甲工厂分配2台，乙工厂分配2台，丙工厂分配1台。 ;5.2 资源连续分配问题; 如此进行 n 年，如何确定投入 A 的资源量 u1、…、un，使总收入最大？;高负荷: 产量函数 g = 8u， 年完好率为 a=0.7，; 状态变量 sk;递推方程？;则状态转移方程为;f4(s4) = 13.6s4;依次类推可得，;k = 4;§6 生产与存贮问题;不能超过阶段 k 至阶段 n 的需求总量;决策变量 uk：; 状态转移方程;例5 已知 n = 3，K = 8，L = 2，h = 2，x1 = 1，M = 4，x4 = 0，B = 6，d1 = 3，d2 = 4，d3 = 3，求解生产与库存问题。 ;若 x3 = 0, ;k =2;;;;;;最优决策(1)为;最优决策(2)为：;最优决策（3）为：;例6：某商店在未来的 4 个月里，准备利用它的一个仓 库专门经销某种产品，仓库最大容量为1