第九章动态规划法.pptVIP

第九章动态规划法;第一节动态规划法的基本概念;设有路线图如图7-1所示。现在要从地出发，选择一条最短路线最终到达地，其间要通过等中间站，各站又有若干个可供选择的通过点，各地之间的距离已用数字标注在图中。由此可见，通过这些中间站时，有多个方案可供选择。;解决这类问题有两种方法：;将至全程分为五级：第一级由至；第二级由

至；第三级由至；第四级由至；第五级由至。让我们由后向前逐级分析，先从第五级开始，其起点为，终点为。

至各只有一条路线，并无选择余地。至路程为1，至路程为2。第四级起点为，终点为，其间有六条路线，由至的各种可能路线为:;用同样方法，依次对级及级进行讨论，其结果列于表7-1。最后得到最短路线为;⑶在每一级决策时，不只考虑本级的性能指标的最优，而是同时考虑本级及以后的总性能指标最优，因此它是根据“全局”最优来作出本级决策的。;分级决策法：分成五级，从最后一级开始进行分级决策时，每级都是一个“单变量函数”，因此进行每一级决策时，实际上是求一个“单变量函数”的极小值。因此多级决策法把一个求“五变量函数”的极值问题转化成为一个五组求“单变量函数”的极值问题。这组实际解题带来极大好处，使计算工作量在为减少。以前面举的十级中间站并各站具有十个通过点的路线问题为例，用多级决策法只需920次计算，这与1010次相比要少得多。;⑸在最后一级开始倒向逐级分析中，我们发现，由于各站的起始点并未确定，因此需要把各中间站的所有通过点作为出发点进行计算，并将所有对应的最佳决策存进计算机，建立起一个完整的“档案库”，因此要求计算机有相当大的容量。;二、最优性原理;一个最优决策具有这样的性质，不论初始状态和初始决策怎样

，其余的决策对于第一次决策所造成的状态来说，必需构成一个

最优决策。称此为最优性原理。它也可简??地叙述为：最优轨迹的第二段，本身亦是最优轨迹。;3、多级决策过程的函数方程;上式表明，为使级决策过程达到最小消耗，第一级决策应根据两部分消耗之和最小的原则作出。第一部分是第一级决策的一步消耗，第二部分为由下一步到达点作起点至终点的最小消耗。式(7-1)称为多级决策过程的函数方程，它是最优性原理的数学表达形式。在上述路线问题中，至的四级决策过程的函数方程可表示成：;――由至之间的路程；;第二节动态规划法解离散系统的

最优控制问题;第一步，系统初始状态在作用下转移至，即;(9-6);依次类推，系统状态由作起点进行步转移，则步转移的总性能指标为：;如果我们用表示级过程的性能指标的极小值，表示级过程性能指标的极小值，则我们就可以列写出级决策过程的函数方程为：;例9-1设离散系统状态方程为：;解:为简单起见，设，则这是一个二步控制问题，性能指标

可表示成：;求最优控制使为极小，则有;再考虑倒数第二步，即由初始状态出发到达的一步，如采用控制，则有;令;最优轨线为：;由于函数方程是一个递推方程，故特别适合于求解离散系统的最优控制问题。为此要把连续过程问题转化成一个多级决策过程。首先将时间间隔分成段，每段为，为使尽量符合连续过程的实际情况，应取足够大，取足够小。接着应将连续状态方程进行离散化，使之用下列有限差分方程来近似表示：;这样，就把研究连续过程问题近似转化成了级决策过程。下面就可按离散过程一样建立函数方程，用递推求解方法逐级进行最优决策，求出最优控制序列来。;第三节动态规划法解离散线性二次型问题;现在我们用动态规划法来求解。从初始端开始，经过级决策得到的最优性能指标可表示为;