第九章动态规划法.pptVIP

第 九 章 动 态 规 划 法动态规划法是求解控制变量限制在一定闭集内的最优控制问题 的又一种重要方法,它是由美国学者贝尔曼于1957 年提出来的。 动态规划法把复杂的最优控制问题变成多级决策过程的递推函数关 系,它的基础及核心是最优性原理。本章首先介绍动态规划法的基 本概念,然后讨论如何用动态规划法求解离散及连续系统的最优控 制问题。第一节 动态规划法的基本概念 一、多级决策过程 所谓多级决策过程是指把一个过程分成若干级,而每一级都需作 出决策,以便使整个过程达到最佳效果。为了说明这个概念,首先 讨论一个最短路线问题的例子。A设有路线图如图7-1 所示。现在要从地出发,选择一条最短路 F B 、 C 、D 、E 线最终到达地,其间要通过等中间站,各站又有若干 个可供选择的通过点,各地之间的距离已用数字标注在图中。由此 可见,通过这些中间站时,有多个方案可供选择。 解决这类问题有两种方法: 1. 探索法(穷举法)将至的所有可能的路线方案都列举出来,算出每条路线的路程, 进行比较,找出最短路线。直观可知,这种方法是很费时的,如 本例共有38 条路线可供选择。如果中间站及各站可供选择的通过 点都增为10 个,则可供选择的路线将急剧增至1010 条,显然计算 工作量将急剧增加。 2. 分级决策法 将整个过程分成若干级,逐级进行决策。具体过程如下:B B , B , B A将至 F 全程分为五级:第一级由 A 至;第二级由 B1 2 3 B , B , B? C C , C , C C C , C , C D D , D , D至 ;第三级由 至? ;第四 1 2 3 1 2 3 1 2 3 1 2 3 E E , E D D , D , D? F? E E , E 级由至 ;第五级由 至。让我们由后 1 2 1 2 3 1 2 F 向前逐级分析,先从第五级开始,其起点为 E E, E ,终点为。1 2 F F E , E F E至各只有一条路线,并无选择余地。至路程为1 , E至 1 2 1 2 E E , E 路程为2 。第四级起点为 DD, D, D ,终点为,其间有六条? 1 2 1 2 3 D F 路线,由至的各种可能路线为: DEF 4 ?15 1 1 DEF 224 1 2 DEF 6 ?17 2 1 DEF 9211 2 2 DEF 7 ?18 3 1 DEF 527 3 2D D DEF 可以发现,如果从出发,则走为最短,因此至 E 1 1 1 2 DE D 应选 这段路线,称为决策。同理,如果从出发,应决策 1 2 2 D DE DE;从出发,应决策 。可见作此决策时不能只从本 3 2 1 3 2 级路程长短出发,应考虑两级路程之和为最短。在整个路线问题 D ,D , D 中,究竟 哪一点作为起点,则取决于第三级的决策,不 1 2 3 过提出的三条可能的最短路线为第三级的决策积累了数据资料。 C C , C , C? D 可见同样方法来分析第三级,其起点为 ,终点为 1 2 3 D , D , D D , D ,D ,按题意共有八条路线。但是, 至 F 的最短路 1 2 3 1 2 3 CDF 线已在第四级讨论中确定,因此 的路线选择问题,实际 CD C 上只是选定级 的路线问题(即本级决策问题)。因此,至 F 只有八条路线,分别为E 2 CDF 145 1 1 E 1 CDF 5712 1 2 E 2 CDF 8412 2 1 E 1 CDF 4711 2 2 E 2 CDF 6713 2 3 E 2 CDF 448 3 1 E 1 CDF 4711 3 2 E 2 CDF 279 3 3 C , C , C 比较可得分别从出发时的三条最短路线,它们为: 1 2 3 E 2 E E 1 2; ; 。 CDF ; 1 1 CDF CDF 2 2 3 1AB BC用同样方法,依次对 级及级进行讨论,其结果列于 表7-1 。最后得到最短路线为 ABCDEF 2 1 1 2 * 相应最短路程为: J 14。 通过上例的讨论,可以看到多级决策过程具有以下特点: n ⑴ 把整个过程看成(或人为地分成) 级的多级过程。 ⑵ 采取逐级分析的方法,一般由最后一级开始倒向进行。 ⑶ 在每一级决策时,不只考虑本级的性能指标的最优,而是同 时考虑本级及以后的总性能指标最优,因此它是根据“ 全局” 最优来 作出本级决策的。 ⑷ 从数学观点,分级决策法与穷举法进行比较: 穷举法:全程五级线路,每一级都可任选,因此全部路程相当于 一个“ 五变量函数” ,求全程最短实质上是求这个“ 五变量函数” 的极 小值。分级决策法: 分成五级,从最后一级开始进行分级决策时,每级 都是一个“ 单变量函数” ,因此进行