《最优控制》第5章动态规划.ppt

第5章——动态规划 第5章——动态规划 第5章——动态规划 第5章——动态规划 第5章——动态规划 第5章——动态规划 第5章——动态规划 第5章——动态规划 第5章——动态规划 第5章——动态规划 第5章——动态规划 第5章——动态规划 第5章——动态规划 第5章——动态规划 第5章——动态规划 * * * 目 录AAcf 业务管理层 业务应用层 业务支撑层 通信协议层 通信网络层 终端应用层 * * * 第5章 动态规划 第5章——动态规划 一.概述 1.多级决策过程 1多级决策过程可供选择，决策不是唯一的 2决策不同有不同的性能指标 3存在一个最有控制，有最有性能指标 例 8 5 4 2 6 4 6 2 2 7 9 5 2 1 4 3 5 N表示阶段数.S表示在某阶段所处位置称为状态变量. fn(s)代价函数，表示由S至终点的最短距离. xn(s)决策变量，它表示S还有n个阶段要走时选的下一站 D(Sxn)表示S至xn(s)的距离，亦称为损失值. 3.两个基本原理 （1）不变嵌入式原理 当研究具有确定初始条件，确定步数的问题时，总可以将它看作具有任意初始天剑及任意步数的一般问题的特例，而将原问题嵌入到更一般的为题中去，此一般问题的解一定能给出原始问题的解。 ①将原问题嵌入到一系列相似但易于求解的问题中去。 ②将多级决策过程化为多个单级决策过程。 ③求得的是一簇而非一个最有决策。 在一个多级决策过程中的最优决策具有这样的性质，即不论初始级或初始决策如何，当把其中任何一级状态再作为初始状态时，余下的决策（即已选出的最优决策中的一部分）对于由这一级开始往后的多级过程（即原来多级过程的一部分）必定仍是最优决策 （2）最优性原理 二.离散系统的动态规划 1.问题 设系统的状态方程为 性能指标 寻求最优控制序列u*(0), u*(1), ……u*(N-1)使J最小 2.求解 设以求出最优控制序列u*(0), u*(1),……u*(N-1),带入上式，可得JN的最优值JN*，可知JN*与初始状态x(0)和步数N有关，即 动态规划不是孤立的求解问题，即将x(0),N放到更一般的问题中去，得到{JN*} 3.最优性原理 求取离散系统最优控制序列u*(0), u*(1),……u*(N-1)的最优性原理：若u*(0), u*(1),……u*(N-1)均为离散系统 的一个最优控制序列 则u*(0), u*(1),……u*(N-1)也一定是一个最优控制序列，其初始值为 该原理表明：求取u*(0), u*(1),……u*(N-1)的问题构成了一个初始状态为x(1)的N-1步的最优控制问题，此时目标函数JN-1 [x(1)]的最优值为JN-1*[x(1)] 三.连续系统的动态规划 1.问题. 设系统的状态方程及初始条件为: 目标集为 其中Ω是P维向量空间中的某一有界闭集。现要求从容许控制中确定出使性能 最小的最优控制u*(t),设tf固定 2.求解 设以求得u*(t)和x*(t)进而可得性能指标最优值J*可知J*与x(t0)和t0有关 连续系统最优性原理 如果对于初始时刻t0和初始状态x(t0)=x0来说u*(t),x*(t)是原系统的最优控制和最优轨线，那么对于t0+△t0和x(t0+△t0)来说，u*(t),x*(t)仍是所论系统往后的最优控制和最优轨线 设t∈[t0,tf]都可以作为初始时刻。 根据积分中值定理 根据多元函数泰勒公式 （＊） 将上两式带入（＊）式，再将两边同除以△t，并令△t→0 引进哈密顿函数 定义 设已求得u*(t),则u*(t)应为 的函数 可表示为 哈密顿-雅各比-贝尔曼方程 由性能指标 当t=tf时 ， ——边界条件 例.设 求最优控制u*(t) 使得J最小(变分法中也有此例) 解：1构造哈密顿函数 2求u(t)使H最小 3求解哈密顿-雅各比-贝尔曼方程 设解具有形式 最后 * * * 目 录AAcf 业务管理层 业务应用层 业务支撑层 通信协议层 通信网络层 终端应用层 * * *