最优化方法与最优控制9.docVIP

第七章 动态规划 系统的数学模型、目标函数和求解方法是最优化问题的三个要素。对于一个已知状态空间描述的控制系统来说，在确定了控制目标(性能指标)后，就需要寻求一个控制函数，使性能指标取最小(或最大)值。在控制界普遍认为，庞特里亚金(Понтрягин)的最小值原理和贝尔曼(Bellman)的动态规划是求解最优控制问题的两种有效方法。在第五章和第六章中，应用最小值原理给出了性能指标达到极值的必要条件，特别地，对于具有线性二次型性能指标的最优控制系统，能够得到最优控制的解析表达式，便于实现状态反馈控制。本章介绍动态规划的主要内容—最优性原理，它在处理多级决策过程是非常有效的。动态规划处理问题的思路是，把要处理的最优化问题转化为许多有序、相关的子问题，即多级决策过程，如果每一个子问题的解对全局都是最优的，那么，总的决策就是最优的。 本章先阐述多级决策过程的基本概念，其次介绍最优性原理，然后讨论用动态规划求解离散系统和连续系统的线性调节问题。 多级决策过程 所谓多级决策过程如图7-1所示。多级过程是由在时间或空间上(图7-2)顺序相关的若干级子过程组成的一个完整过程。在每一级都需要有相应的决策，对整个过程性能指标而言，该决策应当是最优的。显然某一级的决策确定后，必然会影响后一级过程的决策，从而影响到自当前一级过程到终端级过程的决策和整体性能指标。由于在某一级时，子过程的初始状态是由前面多级过程及其决策的结果，初始状态往往不是唯一的，即可供选择的决策往往不止一个。多级决策问题，就是要在允许选择的决策中选择一个最优的策略，使整体性能指标最优。 图7-1中的虚线框表示一级子过程，它可以代表任何类型的子过程。图7-1将线性离散系统展示成一个时间上的多级决策过程，每一级子过程的状态方程是 ，。 (7-1) 系统从状态经、、…转移到状态的过程称为级过程。当时，统称为多级过程。最优控制问题是，对于系统(7-1)，寻求每一级的控制量，使性能指标 ， (7-2) 最小。控制量()，称为最优决策，最优控制。 从图7-1不难看出，在过程处于级时，只要得到状态，级的决策就与前面的决策以及状态的演变过程无关，这种特性称为无后效性，这类过程称为马尔可夫(Morkov)过程。无后效性过程特点的另一种表述是，当前状态及其以后对系统施加的控制作用(包括级控制作用)决定着后续的状态转移过程。至于状态是如何转移来的，与后续的决策过程无直接关系，不必考虑。 动态规划的决策过程正是利用多级过程无后效性的特点，从最后一级开始进行最优决策，逐步倒推到最初一级。为使最后一级过程最优，需要选择最优决策。假设末级的初始状态已知，即不考虑是如何演变来的，选取就变得容易了。接着，选取倒数第二级的最优决策，逐步倒推到最初一级。当然，在作级决策时，后续级的最优决策已经得到，假设级初始状态已知，就能够根据状态确定级的最优决策，即是状态的函数。这样，每次选择最优决策时，只考虑多级决策中的一级，使复杂的决策选择简化了。下面用最优路线问题的示例来阐述动态规划问题的基本求解过程。 例7-1 最优路线问题。 可供选择线路如图7-2所示网络图，图中连线上的数字表示相邻两点间的距离。市政建设需要从起点A到终点P铺设一条管道，工程要求使用的管材最少，即选择一条从起点A到终点P的最短路径。这是一个典型的多级决策问题。 如果从起点A开始寻找最优决策，必须计算起点A到终点P的所有可供选择的路径长度，然后从中选取最短路径。图7-2中提供的路径总数是条，其中有许多计算是重复的，级数越多不必要的重复计算就越多，这种寻优算法很不科学。从最后一级开始寻优，则避免了重复计算，提高了寻优效率。图7-2中，下方的数字表示多级过程各级的顺序编号。 例7-1中，共有6级需要作决策选择。在末级，有两个出发点(初始状态)，每个出发点都只有一条路径可选，记为 ，； 性能指标的下标表示该级在多级过程中的序号，括号中的字母表示该级的出发点。那么，倒推一级，得到 ； ； ； 在第4级共有3个出发点，每个出发点都有两条路径供选择，经过比较，选取最短路径。第一个表达式指出，若从K点出发，经N点到P点的路径短于另一条路径；另两个表达式分别指出如果从L点或M点出发，经O点到P点的路径最短。接着再倒推，直到起点A，由于表达式类同，不再重复叙述。在第3级，最优决策为 ；； ； 在第2级，最优决策为 ；； ； ； 在第1级，最优决策为 ；； 在第0级，最优决策为 ； 寻优过程到此结束，得知最短路径的总长度为。接着根据各级的决策，从起点A开始，逐级确定最优路径所经过的点，结论为 A→B→E→H→L→O→P。 对于本例，动态规划共作了29次加法运算、19次比较就得到了最短路径。如果采用穷举法寻找最短路径，就需要