现代控制理论课件-第七章 动态规划法.pptxVIP

第七章 动态规划法;本章主要内容;§7.1 动态规划法的基本概念; 设有路线图如图所示。现在要从 地出发，选择一条最短路线最终到达 地，其间要通过 等中间站，各站又有若干个可供选择的通过点，各地之间的距离已用数字标注在图中。由此可见，通过这些中间站时，有多个方案可供选择。; 解决这类问题有两种方法：;分级决策法; 至 各只有一条路线，并无选择余地。 至 路程为1， 至 路程为2。第四级起点为 ，终点为 ，其间有六条路线，由 至 的各种可能路线为:; 可以发现，如果从 出发，则走 为最短，因此 至 应选 这段路线，称为决策。同理，如果从 出发，应决策 ；从 出发，应决策 。可见作此决策时不能只从本级路程长短出发，应考虑两级路程之和为最短。在整个路线问题中，究竟 哪一点作为起点，则取决于第三级的决策，不过提出的三条可能的最短路线为第三级的决策积累了数据资料。; 可见同样方法来分析第三级，其起点为 ，终点为 ，按题意共有八条路线。但是， 至 的最短路线已在第四级讨论中确定，因此 的路线选择问题，实际上只是选定级 的路线问题（即本级决策问题）。因此， 至 只有八条路线，分别为:; 比较可得分别从 出发时的三条最短路线，它们为： ； ； 。 ; 用同样方法，依次对 级及 级进行讨论，最后得到最短路线为;通过上例的讨论，可以看到多级决策过程具有以下特点：;;分级决策法： 分成五级，从最后一级开始进行分级决策时，每级都是一个“单变量函数”，因此进行每一级决策时，实际上是求一个“单变量函数”的极小值。因此多级决策法把一个求“五变量函数”的极值问题转化成为一个五组求“单变量函数”的极值问题。这组实际解题带来极大好处，使计算工作量在为减少。以前面举的十级中间站并各站具有十个通过点的路线问题为例，用多级决策法只需920次计算，这与1010次相比要???。; ⑸ 在最后一级开始倒向逐级分析中，我们发现，由于各站的起始点并未确定，因此需要把各中间站的所有通过点作为出发点进行计算，并将所有对应的最佳决策存进计算机，建立起一个完整的“档案库”，因此要求计算机有相当大的容量。 ; (6)第一级起始条件是确定的，因此只有逐级倒向分析到第一级时，才能作出确定的第一级决策，然后再根据第一级决策顺向确定各级的起始条件（各站的通过点），这时由于“档案库”中存有全部“资料”，因此用“查档”的方法就可逐级确定决策。由此可见，一般情况下，多级决策过程包括两个过程：倒向“建档”及顺向“查档”，而大量的计算工作是花费在建立“档案库”上。;二、最优性原理; 我们把该原理叙述如下： 一个最优决策具有这样的性质，不论初始状态和初始决策怎样，其余的决策对于第一次决策所造成的状态来说，必需构成一个最优决策。称此为最优性原理。它也可简单地叙述为：最优轨迹的第二段，本身亦是最优轨迹。;3、 多级决策过程的函数方程; 上式表明，为使 级决策过程达到最小消耗，第一级决策应根据两部分消耗之和最小的原则作出。第一部分 是第一级决策的一步消耗，第二部分 为由下一步到达点 作起点至终点的最小消耗。上式称为多级决策过程的函数方程，它是最优性原理的数学表达形式。在上述路线问题中， 至 的四级决策过程的函数方程可表示成：;式中: ――四级过程的起点；;由表可知;§7.2 动态规划法解离散系 统的最优控制问题 ;第一步，系统初始状态 在 作用下转移至 ， 即; 第二步，系统在 作用下由 转移到 ，转移中的性能指标为 ，则两步转移的总性能指标为：; 依次类推，系统状态由 作起点进行 步转移，则 步转移的总性能指标为：;