运筹学-6、动态规划解决方案.ppt

* 例4： 解: 用动态规划方法来解，问题变为求 f3(10) 。 为此必须先算出f2(10),f2(5),f2(0) 。而 * * 为此必须先算出f1(10)，f1(6)，f1(5)，f1(2)，f1(1)，f1(0) 。而 * 相应的最优策略为 ，于是得到 * 从而 * 最后得到： 所以最优装入方案为： 最大使用价值为13。 * 某人在退休时可拿到总数为x0的养老金，他估计自己还可活T年，如何利用这笔钱，使得他在T年内消费总效用最大？由于年龄大，不愿意冒险，他打算把钱存入银行(年利率为r ) ，试建立该问题的数学模型。 1、消费模型 设第t年的消费为ct，所获得的效用为U(ct)，xt为第t年所拥有的资金，则可建立该问题的数学模型如下： 五、 宏观经济学中应用模型 * 我们用动态规划来讨论它的求解。 设状态变量xt表示在第t年拥有的资金数。 决策变量ct表示在第t年的消费。 则状态转移方程为： 第t阶段的阶段指标为： * 最优值函数Vt(xt)表示第t年拥有的资金数为xt时按最优方案消费所获得的最大总效用。 则由动态规划最优化原理，可得动态规划的基本方程为： * 初始条件x0，边界条件xT+1=0，V(xT+1)=0，若给出效用函数的具体形式，则由动态规划逆序法可以求解。 * 2、最优增长模型(无限阶段的动态规划模型) 将上述模型进行推广，若假设T趋向于∞，再假设资本生产函数为f(xt)，则可得无限阶段的消费模型(最优增长模型)如下： 由于这个无穷级数可能发散，数学上不易处理。因此一般讨论如下模型。 * 其中β=1/(1+r)为贴现系数，x0为初始资本，是给定的。 一般假设生产函数与效用函数都是严格递增、严格凹的函数，即满足以下条件： * 为避免端点解，进一步假设生产函数与效用函数满足以下条件： 设最优值函数Vt(xt)表示第t年拥有的资金数为xt时按最优方案消费所获得的最大总效用。即 * 由于现在没有最后的结束阶段，前面所介绍的逆序法不适用。但是有些类型的无限阶段动态规划是可以求解的，而且许多情形下比有限阶段求解更容易。对上面模型，利用动态规划的递推原理，可导出该问题的贝尔曼方程： * 在有限阶段的情形下，不同时间开始的子问题是不同的，而且到达规划结束时所需要的时间也不同。但若是无限阶段，就不再是这样了，此时所有子问题都是相同的。这样对于无限水平下的稳定性问题，时期t时的值函数Vt(xt)只是初始状态xt的函数，与时期t无关，因此贝尔曼方程变为： * 这样得到的策略函数xt+1=h(xt)也是时间不变的，这是一个非常关键的简化，因为这样我们只需找到一个这样的函数，而不是T-t个这样的函数。 贝尔曼从数学上证明了上述问题有唯一的连续函数解V(xt)和h(xt)。而且可以证明值函数V(xt)是严格递增、严格凹的函数；策略函数h(xt)是严格递增函数。 * 将贝尔曼方程(1)化为： 关于值函数V(xt)有如下导数公式： * 为解释欧拉方程，考虑通过减少t期单位消费，实现t+1期消费增加的问题。一方面，t期的效用损失为 ；另一方面，t期增加单位投资导致下期增加消费量 ，相应效用增加 由此可得欧拉方程： 利用消费变量将上式改写为： * 最优路径要求当期的损失必须等于未来的收益,否则应该重新设计可行的消费/投资计划能提高目标函数值。 现具体假设效用函数是对数形式，资本生产函数是柯布—道格拉斯生产函数，则最优增长模型变为如下形式： 这是此类模型中惟一可以手解的一个模型。有三种求解方法： 1）值函数迭代法 2）猜测和验证法 3）策略函数迭代法 * 上述问题策略函数和值函数的解分别为： * 3) k=3时，有 因为 是 x3 的单调增加函数，故最大解为： 相应有 * 4）k=2时，有 因为 是 x2 的单调减少函数，故最大解为： 相应有 * 5）k=1时，有 因为 是 x1 的单调减少函数，故的最大解为： 相应有 * 即前两年应把年初全部完好机床投入低负荷生产，后三年应把年初全部完好机床投入高负荷生产。这样所得的产量最高，其最高产量为29139百件产品。同时，从求解过程还可反过来确定每年年初的状态，即每年年初所拥有的完好机器台数。已知s1=1000，于是可得： 由于第l阶段的初始状态s1是给定的，即s1=1000， 因此最优目标函数值为 =29139（百件）。