九章节 动态规划法.pptVIP

第九章 动态规划法;第一节 动态规划法的基本概念; 设有路线图如图7-1所示。现在要从 地出发，选择一条最短路线最终到达 地，其间要通过 等中间站，各站又有若干个可供选择的通过点，各地之间的距离已用数字标注在图中。由此可见，通过这些中间站时，有多个方案可供选择。; 解决这类问题有两种方法：; 将 至 全程分为五级：第一级由 至 ；第二级由 至 ；第三级由 至 ；第四级由 至 ；第五级由 至 。让我们由后向前逐级分析，先从第五级开始，其起点为 ，终点为 。 至 各只有一条路线，并无选择余地。 至 路程为1， 至 路程为2。第四级起点为 ，终点为 ，其间有六条路线，由 至 的各种可能路线为:; 可以发现，如果从 出发，则走 为最短，因此 至 应选 这段路线，称为决策。同理，如果从 出发，应决策 ；从 出发，应决策 。可见作此决策时不能只从本级路程长短出发，应考虑两级路程之和为最短。在整个路线问题中，究竟 哪一点作为起点，则取决于第三级的决策，不过提出的三条可能的最短路线为第三级的决策积累了数据资料。; 比较可得分别从 出发时的三条最短路线，它们为： ； ； 。 ; 用同样方法，依次对 级及 级进行讨论，其结果列于表7-1。最后得到最短路线为; ⑶ 在每一级决策时，不只考虑本级的性能指标的最优，而是同时考虑本级及以后的总性能指标最优，因此它是根据“全局”最优来作出本级决策的。;分级决策法： 分成五级，从最后一级开始进行分级决策时，每级都是一个“单变量函数”，因此进行每一级决策时，实际上是求一个“单变量函数”的极小值。因此多级决策法把一个求“五变量函数”的极值问题转化成为一个五组求“单变量函数”的极值问题。这组实际解题带来极大好处，使计算工作量在为减少。以前面举的十级中间站并各站具有十个通过点的路线问题为例，用多级决策法只需920次计算，这与1010次相比要少得多。; ⑸ 在最后一级开始倒向逐级分析中，我们发现，由于各站的起始点并未确定，因此需要把各中间站的所有通过点作为出发点进行计算，并将所有对应的最佳决策存进计算机，建立起一个完整的“档案库”，因此要求计算机有相当大的容量。;二、最优性原理; 一个最优决策具有这样的性质，不论初始状态和初始决策怎样 ，其余的决策对于第一次决策所造成的状态来说，必需构成一个 最优决策。称此为最优性原理。它也可简单地叙述为：最优轨迹的第二段，本身亦是最优轨迹。;3、 多级决策过程的函数方程; 上式表明，为使 级决策过程达到最小消耗，第一级决策应根据两部分消耗之和最小的原则作出。第一部分 是第一级决策的一步消耗，第二部分 为由下一步到达点 作起点至终点的最小消耗。式(7-1)称为多级决策过程的函数方程，它是最优性原理的数学表达形式。在上述路线问题中， 至 的四级决策过程的函数方程可表示成：; ――由 至 之间的路程；;第二节 动态规划法解离散系统的 最优控制问题 ;第一步，系统初始状态 在 作用下转移至 ，即;(9-6); 依次类推，系统状态由 作起点进行 步转移，则 步转移的总性能指标为：; 如果我们用 表示 级过程的性能指标的极小值， 表示 级过程性能指标的极小值，则我们就可以列写出级决策过程的函数方程为： ;例9-1 设离散系统状态方程为：;解: 为简单起见，设 ，则这是一个二步控制问题，性能指标 可表示成： ;求最优控制使 为极小 ，则有;再考虑倒数第二步，即由初始状态 出发到达 的一步，如采用控制