最优控制6-1讲解.ppt

第六章 动态规划 前五章中，我们借助于变分的方法，详细阐述了最小值原理及其应用。 应用最小值原理，可以卓有成效地求解各种最优控制问题。 介绍一种求解动态最优化问题的重要方法： 动态规划 动态规划是研究决策过程最优化的一种方法。 最初应用于时间离散问题，即所谓多阶段过程，随后又推广到了时间连续问题。 连续系统的动态规划，是在经典哈密顿－雅谷比理论的基础上发展起来的。 第1节 基本概念 例6-1：最短管线问题 例 6-2 多阶段资源分配问题 6-2 动态规划的基本原理 概念与定义 状态向量x：表示过程任一时刻所处的状态； 决策向量u：把过程从某一状态转变为另一状态的动因，相当于前几章中的控制向量； 策略：各个阶段的决策所组成的总体（容许控制）； 收益或效益：由于状态在决策作用下发生了转移，所获得的效益（性能指标）。 问题6-1 N阶段决策问题 定理6-1 多阶段决策问题所应满足的函数方程 6-3 连续控制系统中的动态规划 问题6-2 定理6-2 例 6-3 §6-5 二次型性能指标的最优线性系统 推论 设过程已经历了i-1个阶段，其所处的状态是 ，设想第i阶段采取任一决策 ，经变换 把状态转移到 ，其收益为 ； 其后N-i个阶段则采取最优子策略，把状态转移到预期的终态，其局部总收益为 ，于是后N-(i-1)个阶段的局部总收益是： 为使这后N-(i-1)个阶段构成一个最优子策略，第i阶段的决策 必须满足下列函数方程： (6-14) 上式代表多阶段决策过程的一组递推方程，称为贝尔曼方程。 为便于今后应用起见，我们采用下列符号： (6-15) 于是式6-14可写成 (6-16) 连续系统的最优规划问题，实质上是一个变分学问题。它们可以看成是多阶段系统中最优规划问题的极限情形。 叙述所要求解的最优控制问题； 运用最优性原理，推导连续系统的贝尔曼方程； 结合变分学，阐明贝尔曼方程的涵义； 推出最优解的必要条件； 沟通动态规划与最小值原理之间的关系。 设控制系统的状态方程是 （6-17） 寻找最优控制 ，以便把状态从一任意的初态(x(t),t)转移到满足边界条件 （6-18） 的终态，并使性能泛函 达极小值，其中 待定。 （6-19） 设最优控制存在，则对于每一个初态(x(t),t)，都有一个相应的最优控制 ，使状态沿着一条确定的极值轨线到达曲面 。 用 表示性能指标J沿整个极值轨线的值，并称之为最优效益函数。 显然，初态不同，其最优控制和最优效益函数通常也不相同，从这个意义上讲，最优控制和最优效益都可以看成是初态的函数。 依据最优效益函数的定义，可知其表示式可写成 （6-20） 并在曲面 上满足边界条件 (6-21) 假定， 存在、连续，且具有连续的一阶和二阶偏导数。 设系统从(x, t)出发，在任意控制 作用下，经一短暂时间区间 到达新的状态 (6-22) 然后用最优控制 把状态(6-22)转移到终态，则整个过程的效益函数可写成（最优性原理） (6-23) 由于加在区间 的是任意控制，故有 (6-24) 状态变化 第一段效益函数 上式仅当在区间 中的控制选择得使(6-23)式达最小值时，方能成为等式。于是 (6-25) 因假定 连续可微，故可把(6-25)式右边括弧中第一项在(x, t)的邻域展开成泰勒级数： (6-26) 鉴于 、 不显含u，因而这两项可提到min符号之外。 对(6-26)式稍加整理，并令 ， (6-27) 这就是连续系统中的贝尔曼方程，它是依据最优性原理推导出来的。 得： 为了进一步弄清方程(6-27)的涵义，我们不妨从变分的角度，对问题6-2作一些分析。 设由于某种原因，轨线对始端(x, t)产生了一个摄动dx和dt，则性能泛函的变分方程是（类似式1-97） (6-28) 这种对始端的摄动发生在始端(x, t)到终端 的最优轨线上，则定理1-5中列举的最优解的必要条件依然成立，于是 (6-29