动态规划课件.pptxVIP

动态规划 ; 动态规划是贝尔曼(Bellman)在五十年代为解决多级决策过程而提出来的。它可以解决很多领域中的问题，如生产过程的决策，收益和投资问题，有多级反应器的化工装置的设计，多级轧钢机的最速轧制问题，资源分配、机器负荷分配、生产计划编制，特别是控制工程问题。; 它和极小值原理一样，可解决控制变量受约束的最优控制问题，而且在这两种方法之间存在某种内在的联系。动态规划的中心思想是利用所谓“最优性原理”，把一个 级决策过程化为 个单级决策过程，从而使问题简单。;6.1 多级决策的例子——最短时间问题;;（一）穷举法 ; 路 线 行车时间（小时） 13 11 14 13 12 9; 这里每条路线由四段组成，也可以说是四级决策。 为了计算每条路线所花时间，要做三次加法运算，为了计算六条路线所花的时间要作3×6=18次运算。这种方法称为“穷举法”。 显然当段数很多时，计算量是很大的。这种方法的特点是从起点站往前进行，而且把这四级决策一起考虑。应注意从到 下一站 所花的时间为1，而到 所花时间为3，但最优路线却不经过 。 这说明只看下一步的“眼前利益”来作决策是没有意义的。;（二）动态规划法 ;令 为决策（控制）变量，它表示当处在 位置而还有 段要走时，所要选取的下一点。 例如，从 出发，下一点为 时，则表示为 。;;1 （倒数第一段） ;2（倒数第二段） ;;3（倒数第三段） ;;4（倒数第四段） ;;;;;6.2 最优性原理;;;;最优性原理可表示为 ;;;;6.3 用动态规划解资源分配问题;;;;容易看出，函数 有下列性质 ;这些性质构成了以后解题的边界的条件。;;例1-1;;解 由边界条件知 。现在虑 ， 它表示用1个单元资源分配到2个产品上的最大收益。 表示投入第2个产品的资源，则 可取值1或0，对应地将有下表。;;根据（6-10）式可得;同理，当可取值3，2，1，0时可求得; 再考虑3个产品的资源分配，可得这三个产品投入资源的单元数为1，2，3，4时的，最优值如下;;6.4 用动态规划求离散最优控制;寻找最优控制序列 使最小，这正是多级决策问题，利用最优性原理，根据递推方程（6-2），从最后一步开始，逐步求出 。下面用例子来说明求解过程。;例6-2 ;解 先考虑最后一步，即 从 到。这时由（6-13）、（6-14）式得;将 代入 和 可得，相应于上面最优控制的性能指标与最优状态转移为;求;;6.5 连续系统的动态规划; 设时间 在区间 内，则根据最优性原理，从 到 这一段过程应当是最优过程。把这段最优指标写成 ,则;现在，考虑系统从 出发，到 分两步走：先从 到 ，再 从到 ， 是小量，则;;注意到 ，上式右边括号中 表示最优指标，其中 为最优控制，不需再选择， 也与 选择无关。故;引用以前使用过的哈密顿函数 ;（6-25）或（6-28）称为哈密顿—雅可比—贝尔曼方程，边界条件是（6-22）式。哈密顿—雅可比—贝尔曼方程在理论上很有价值，但它是 的一阶偏微分方程并带有取极小的运算，因此求解是非常困难的，一般情况得不到解析解，只能用计算机求数值解。对于线性二次问题，可以得到解析解，而且求解结果与用极小值原理或变分法所得结果相同。这时，哈密顿——雅可比——贝尔曼方程