第8章动态规划原理与最优控制.ppt

第 7 章动态规划在最优控制中的应用 ;动态规划 求解最优控制问题的有效方法之一 二十世纪五十年代由 Bellman 提出 动态规划与极小值原理在数学上是等效的 从不同的角度发展了古典变分学;最优性原理 多级决策过程的最优策略具有这种性质。不论初始状态和初始决策为何，其余的决策对于由初始决策所形成的状态来说，必定也是一个最优策略。;主要内容;7.1 离散动态规划;根据最优性原理 确定了一个从后向前的递推过程 基于最优性原理的动态规划方法 成为解决最优控制问题的有力工具;动态规划原理;枚举法;可能解数量为 2(n-1) n = 4, 为 23 = 8 种. 加法次数为：(n-1)* 2(n-1) n = 4, 为 (4-1) * 23 = 24 次. 若n = 10, 则可能解数为： 2(10-1) = 29 = 512 种. 加法 (10-1) * 29 = 9 * 29 = 9 * 512 = 4608 次. ; 动态规划法;倒数第三级 路线 X1(1) — X1(2) — F J * = 6 + 4 = 10 X1(1) — X2(2) — F J = 6 + 5 = 11 X2 (1) — X1(2) — F J* = 4 + 4 = 8 X2(1) — X2(2) — F J = 7 + 5 = 12 J * [X1(1) ] = 10 , J *[X2(1) ] = 8 ;第一级 路线 S — X1(1) — F J = 4 + 10 = 14 S — X2(1) — F J* = 5 + 8 = 13 即 J * [S] = 13 ;∴最优决策为 S — X2(1) — X1(2) — X2(3) — F J* [S] = 13 加法次数: 4 * (n-2) + 2 次 n = 4时， 4 * (4-2) + 2 = 10 次 ;各个状态到终点的最短距离;;设离散系统的状态方程为 x – n 维状态向量，u – m 维控制向量 始端 和终端 固定 ;求最优控制序列 使目标泛函 取极小值;动态规划的目的 使 J 最小 即 将以 为初态的 N-j(=k) 级最优决策 ;根据最优性定理 如果 N 级决策是最优的 则以在前 j – 1 决策上形成的 为初态的 N – j 级决策是最优决策 从这点出发，形成了逆向递推的最优化方法，这种方法被称为动态规划;根据最优性定理 利用动态规划方法形成递推公式 当终端固定时 直接利用递推公式求解最优控制问题 ;21;令：;23;例 1 设离散系统的状态方程为 已知 求最优控制 u 使目标泛函为 最小;解：由递推公式 ; ;K=1时;;求解的结果;;7.3 连续动态规划在连续系统最优控制中的应用 ;对于连续系统 x – n 维状态向量，u – m 维控制向量 且容许控制 u 在 m 维欧氏空间 的某一给定域 中取值即 ;已知始端固定 即 求最优控制 使目标泛函 取极小值 ;;显然 所有 都满足 假设 V 存在，连续 并且具有连续的一阶和二阶偏导数;推导动态规划的Hamilton-Jacobi方程;;;;;例 1 考虑线性定常系统 式中 假定任何的 都是容许控制 要求找到作为 的函数 ，使得 ;解： 即 ;这样;因为 时不变 且最优化是针对一个无限持续的过程 只依赖于初始状态 即;由于 故 Hamilton – Jacobi 方程变成;假设一个解 则 - 对称矩阵; ;;;;;