最优控制第七章动态规划法.ppt

根据最优性原理，如果t到tf的过程是最优的， 则从t + ?t到tf的后部子过程也是最优的，其中 t t + ?t tf。因此可写成 (6) (7) 当?t很小时，有 第三十页，共六十八页，2022年，8月28日 式(5)可近似表示为 (8) (5) 第三十一页，共六十八页，2022年，8月28日 将x(t + ?t)进行泰勒展开，取一次近似，有 (9) (10) (11) 第三十二页，共六十八页，2022年，8月28日 将上式在[x,t]领域展成泰勒级数，考虑到 J*[x+?x, t+?t]既是x的函数，也与t有关，所以 (12) (8) 第三十三页，共六十八页，2022年，8月28日 代入式(8)，得 (13) (12) (8) 第三十四页，共六十八页，2022年，8月28日 考察上式因为J*[x, t]与u无关，故J*[x, t]与 可提到min号外面。经整理可得 式(14)称为连续系统动态规划基本方程或贝尔曼方程。 (14) 第三十五页，共六十八页，2022年，8月28日 贝尔曼方程。它是一个关于J*[x, t]的偏微分 方程。解此方程可求得最优控制使J为极小。它 的边界条件为 (15) (14) 第三十六页，共六十八页，2022年，8月28日 如果令哈密尔顿函数为 式中 则式(14)可写成 (17) (16) 第三十七页，共六十八页，2022年，8月28日 当控制矢量u(t)不受限制时，则有 上两式称为哈密尔顿－雅可比方程。上式说明， 在最优轨线上，最优控制必须使H达全局最小。 实际上这就是极小值原理的另一种形式。 (18) 第三十八页，共六十八页，2022年，8月28日 由贝尔曼方程可推导出协态方程和横截条件。 式(14)可写成 对x求偏导数，得 (20) (19) (14) 第三十九页，共六十八页，2022年，8月28日 由于对t的 全导数，为 (22) (21) 代入式(20)可写成 (20) 第四十页，共六十八页，2022年，8月28日 令 ，则上式可写成 (23) 这就是所求的协态方程 ，与以前结果 完全一致。 (22) 第四十一页，共六十八页，2022年，8月28日 在t= tf时，在终端处性能泛函为 式中μ——与N同维的乘子矢量。 (24) 第四十二页，共六十八页，2022年，8月28日 对x(tf)求偏导数，得 (25) (26) 即 (24) 第四十三页，共六十八页，2022年，8月28日 将式(24)对tf求偏导数，得 (27) (24) 第四十四页，共六十八页，2022年，8月28日 考虑式(17)、式(20)得 上述结果与极小值原理中推导的完全一致。 上述推导过程实际上等于用动态规划方法间接证 明了极小值原理。 (28) (17) (20) (27) 第四十五页，共六十八页，2022年，8月28日 应当指出，与极小值原理相比，动态规划法需 要解偏微分方程式(14)，它要求J [x, t]具有连续的 偏导数，但在实际工程中，这一点常常不能满足， 因而限制了动态规划法的使用范围。 第四十六页，共六十八页，2022年，8月28日 例1：设 ，求最优控制u*(t)使 第四十七页，共六十八页，2022年，8月28日 解：构造哈密尔顿函数 根据哈密尔顿－雅可比方程，有 第四十八页，共六十八页，2022年，8月28日 最优控制第七章动态规划法 第一页，共六十八页，2022年，8月28日 动态规划是贝尔曼在50年代作为多段决策过程 研究出来的，现已在许多技术领域中获得广泛应 用。动态规划是一种分段最优化方法，它既可用来 求解约束条件下的函数极值问题，也可用于求解约 束条件下的泛函极值问题。它与极小值原理一样， 是处理控制矢量被限制在一定闭集内，求解最优控 制问题的有效数学方法之一。 第二页，共六十八页，2022年，8月28日 动态最优的核心是最优性原理，它首先将一个 多段决策问题转化为一系列单段决策问题，然后从 最后一段状态开始逆向递推到初始段状态为止的一 套求解最优策略的完整方法。 下面先介绍动态规划的基本概念，然后讨论连 续型动态规划。 第三页，共六十八页，2022年，8月28日