动态规划基本概念.ppt

动态规划 动态规划 §1.动态规划的基本概念和基本方法 一.多阶段决策问题 例1.最短路问题 例2. 生产计划问题 二.动态规划的基本概念 二.动态规划的基本概念(2) 二.动态规划的基本概念(3) 二.动态规划的基本概念(4) 三.动态规划求解的思想和方法 最短路问题（3） 最短路问题（4） 最短路问题（5） 四. 动态规划的基本方程和最优化原理 四. 动态规划的基本方程和最优化原理(2) 四. 动态规划的基本方程和最优化原理(3) 四. 动态规划的基本方程和最优化原理(4) 五. 动态规划模型的建立与求解 五. 动态规划模型的求解(2) 顺序解法求解例1 顺序解法求解例1 （2） 顺序解法求解例1 （3） 顺序解法求解例1 （4） 顺序解法求解例1 （5） 顺序解法的基本方程 五. 动态规划模型的求解(3) 例3 例3基本方程 顺序解法求解例3： 逆序解法与顺序解法在建模时的区别:(3) (3) 基本方程形式不同： ①指标函数为阶段指标和形式 逆序解法： 顺序解法： 逆序解法与顺序解法在建模时的区别:(4) ②指标函数为阶段指标积形式 逆序解法： 顺序解法： 例3 某公司有资金10万元,若投资于i(i=1,2,3)的投资额为 xi时,其收益分别为g1(x1)=4x1, g2(x2)=9x2 , g3(x3)=2x23, 问应如何分配投资数额才能使总收益最大? 这是一个与时间无明显关系的静态最优化问题 第一阶段考虑对项目1的投资,第二阶段考虑对项目2的投资,第三阶段考虑对项目3的投资 每个阶段只决定对一个项目应投资的金额 这问题也可用动态规划方法求解 其静态模型: 可以人为地引入时段的概念,将投资项目排序: 决策变量uk=xk表示对第k阶段对第k个项目的投资金额 设状态变量sk表示在第k阶段初可供使用的资金数量； 故s1=10万元 状态转移方程： 阶段效益： 最优指标函数 fk(sk) 则基本方程为 sk+1=sk-xk v1(s1,x1)=4x1, v2(s2,x2)=9x2, v3(s3,x3)=2x23 表示当可用资金为sk时投资第k个至第3个项目所得的最大收益 逆序解法求解例3: (2) k=3时， k=2时， 若令 并令 得到 且有 故 为极小点， 因而极大值只可能在 端点取得，即 逆序解法求解例3: (3) 此时 或 k=1时， 若 时， 注意到 所以 但是 这与 矛盾， 因而舍去。 逆序解法求解例3: (4) 若 则 令 由 可得 因为 所以 为极小点。 比较[0,10]两个端点 , 时， 时， 逆序解法求解例3: (5) 故 再由状态转移方程顺推 因 故 因而 故最优投资方案为全部投资于第三个项目，可得最大收益 200万元。 决策变量uk=xk表示对第k阶段对第k个项目的投资金额； 设状态变量sk+1表示可以投资于第1到第k个项目的资金； 故s4=10万元 状态转移方程： 阶段效益： 最优指标函数 fk(sk+1) 则基本方程为 sk=sk+1-xk v1(s2,x1)=4x1, v2(s3,x2)=9x2, v3(s4,x3)=2x23 表示当可用资金为sk+1时投资第1个至第k个项目所得的最大收益 顺序解法求解例3:(2) k=1时， 即 k=2时， 即 顺序解法求解例3:(3) k=3时， 令 由 得到 且有 故 为极小点， 且极大值应在 端点取得。 当 时， 当 时， 故 再由状态转移方程逆推有 即 顺序解法求解例3:(4) 故最优投资方案与逆序解法完全相同， 只投资于第三 个项目，最大收益为200万元。 比较这两种解法的过程，就本问题而言，顺序解法比逆序解法要简单。我们在实践中应注意选用。 注： 例4. 用动态规划方法解下面问题： 解: 按该问题中变量的个数分为三个阶段。设状态变量为s1、s2、s3、s4，并记s4≤9；取x1、x2、x3为各阶段的决策变量； 设 则有 例4.(2) 阶段效益： v1(s2,x1)=4x21, v2(s3,x2)=-x22, v3(s4,x3)=2x23 最优指标函数 fk(sk+1):表示第k阶段的结束状态为sk+1，从1阶段至k阶段的最大值。 则基本方程为 由顺序解法： k=1时， 例4.(3) k=2时， 由 故h2(s3,x2)的最大值必在端点处取到 例4.(4) k=3时， 由 例4.(5) 故 再由状态转移方程逆推有 * Dynamic Programming 线性规划和非线性规划有一个共同特点:静态性,叙述和 　　　　解决问题都是针对某一时刻发生的情况.