第7章动态划.ppt

第一节 多阶段的决策问题 练 习 用连续变量的离散化方法求解下面的非线性规划 本 章 小 结 动态规划问题的特点、类型 动态规划问题的基本概念 阶段、状态、决策和策略、状态转移、指标函数 动态规划的求解方法（逆序法和顺序法） 离散确定性动态规划的求解方法 动态规划模型的建立 为了应用动态规划方法求解，人为地赋予它“时段” 的概念，将投资项目排序，首先考虑对项目1投资，然后考虑对项目2投资……，即把问题划分为3个阶段，每个阶段只决定对一个项目应投资的金额。 通常把决策变量uk定为原静态规划的变量xk即设 状态变量和决策变量有密切关系，状态变量一般为累计量或随递推过程变化的量。 可把每阶段可供使用的资金定为状态变量sk，初始状态为s1=10 u1为可分配用于第一种项目的最大资金，则第一阶段时有： 第二阶段(k=2)时，状态变量s2为余下可投资于其余两个项目的资金，即： 一般地，当第k段时 于是有 状态变量sk：第k阶段可以投资于第k项到第3个项目的资金 决策变量xk：决定给第k项目的资金 状态转移方程：sk+1=sk-uk 指标函数： 最优指标函数fk(sk)：当可投资金为sk时，投资第k-3项所得最大收益。基本方程为： 0 s s2 x2 当k=2时， 这是一个函数求极值问题,利用微分方法可求得该函数有极小值. 当k=3时， 显然当 ，函数取极大值为 要讨论s2的具体情况: 当 时， 当 时， 此时 此时 到此，第二阶段的决策已经作出 减函数 此结论与前矛盾，故舍去 当k=1时， 时 注：此时 由前面分析可知 而 另取 此时 又是一个求极值问题，微分求解 比较[0,10]的端点 当 时， 当 时， 再由递推方程递推： 最优方案为全部资金投到第三个项目 2.连续变量的离散化解法: 例如投资分配问题 的一般静态模型为： 建立它的动态规划模型，其基本方程为： 其状态转移方程为：sk+1=sk-xk 由于sk与xk都是连续变量，当各阶段指标gk(xk)，没有特殊性质而较为复杂时，要求出fk(sk)比较困难，因而求全过程的最优策略也就相当不容易，这时常常采用把连续变量离散化的方法求其数值解，具体做法如下： （1）令sk=0, △,2△,…,m△=a，把区间[0,a]进行分割， △的大小可依据问题所要求的精度及计算机的容量来定。 （2）规定状态变量sk及决策变量xk只在离散的点0,△,2△, …, m△上取值，相应的指标函数fk(sk)就被定义在这些离散值上，于是递推方程变为： 其中 （3）按逆序方法，逐步递推求出fn(sn),…, f1(s1)，最后求出最优资金分配方案。 例2 用连续变量的离散化求解 解 令 ，将区间[0,10]分割成0,2,6,8,10六个点，即状态变量sk集合为{0,2,4,6,8,10} 允许决策集合为 均在分割点上取值。 动态规划基本方程为： 当k=3时， 其中s3和x3的集合均为{0,2,4,6,8,10},计算结果如下表 10 8 6 4 2 0 x3* 200 128 72 32 8 0 f3(s3) 10 8 6 4 2 0 s3 计算结果如下表 0 2 4 6 8 10 0 2 4 6 8 0 2 4 6 0 2 4 0 2 0 x2 200 146 108 86 80 90 128 90 68 62 72 72 50 44 54 32 26 36 8 18 0 g2+f3 0 0 0 4 2 0 x2* 200 128 72 36 18 0 f2 10 8 6 4 2 0 s2 当k=2时， 计算结果如下表 10 8 6 4 2 0 x1 40 50 60 88 136 200 g1 +f2 0 x1* 200 f1 10 s1 当k=1时， 计算结果表明，最优决策为： 最大收益为： 与例5结论完全相同。 注意：这种方法有可能丢失最优解，一般得到原问题的近似解 令sk=0,1,2,3,4， 列表求解 逆序解法: 基本方程: 注意到目标函数是乘积的形式： 最优化原理： 作为整个过程的最优策略具有这样的性质： “无论过去的状态和决策如何，相对于前面的决策所形成的状态而言，余下的决策序列必然构成最优子策略。” 也就是说，一个最优策略的子策略也是最优的。 动态规划方法基于贝尔曼等人提出的最优化原理： 练习：求从A到E的最短路径 路线为A→B2→C1 →D1 →E ，最短路径为19 A B2 B1 B3 C1 C3 D1 D2 E C2 5 2 14 12 6 1