动态规划与离散系统最优控制.pptVIP

最优性原理一般问题的问题描述(11/22) 证明 用反证法。假设u*(k,N-1)是最优策略，而对于以x*(k)=f(x*(k-1),u*(k-1),k-1)为初始状态的后N-k个阶段来说不是最优策略, 即有 则 第二十八页，共六十八页，2022年，8月28日 最优性原理一般问题的问题描述(12/22) 即{u*(0,k-1), u(k,N-1)}为比u*(0,N-1)更优的策略,与u*(0,N-1)为最优策略的假设矛盾。 因此,最优策略u*(0,N-1)的子策略u*(k,N-1)对以x*(k)=f(x*(k-1),u*(k-1),k-1)为初始状态的后N-k个阶段来说,也必是最优策略推论得证。 证毕 由上述定理和推论,可得最优性原理的另一个表达形式 式中, J*[x(k),u*(k,N-1)]表示以k时刻的状态x(k)为初始状态, 后N-k个阶段在最优策略u*(k, N-1)下的最优总成本, 最优策略u*(k, N-1)为最优策略u*(0, N-1)的后N-k个决策。 第二十九页，共六十八页，2022年，8月28日 最优性原理一般问题的问题描述(13/22) 基于最优性原理的表达形式(187)和总成本的表达式(183), 可推得 即 第三十页，共六十八页，2022年，8月28日 最优性原理一般问题的问题描述(14/22) 因此, 有如下一步逆向递推形式 …… 式中, J*[x(N), N]为总成本的边界条件, 相当于控制性能指标泛函中的末值型指标。 对总成本表达式, 则有如下总成本J的边界条件 J*[x(N), N]=0 第三十一页，共六十八页，2022年，8月28日 最优性原理一般问题的问题描述(15/22) 由上述递推解过程,可归纳得如下动态规划法的递推方程,即贝尔曼递推方程 ??? 为了更好地理解动态规划的本质,再作如下说明。 1) 结合定理17的推论和式(187), 最优性原理可以表述为:“一个最优性策略具有这样的性质, 即不论过去的状态及过去的决策如何, 如把当前状态视为后续过程的初始状态, 则其后诸决策仍必须构成一最优策略。 第三十二页，共六十八页，2022年，8月28日 最优性原理一般问题的问题描述(16/22) 2) 最优性原理得以成立的一个前提条件(必要条件),即所谓的过程无后效性,是当前状态x(k)仅由前一阶段状态x(k-1)和决策u(k-1)唯一决定。 前一阶段状态x(k-1)和决策u(k-1)对后续过程的影响通过当前状态x(k)起作用, 并无其它直接影响。 这种性质在数学上称为马尔柯夫(Markov)特性。 第三十三页，共六十八页，2022年，8月28日 最优性原理一般问题的问题描述(17/22) 3) 在N阶段决策过程中,前k个阶段的子策略对总成本的影响表现在两个方面, 其一是直接决定前k个阶段的局部总成本, 其二通过对状态x(k)的影响, 间接地影响后N-k个阶段的局部总成本。 因此,为了构成一个最优策略,其前k个阶段的子策略必须通盘考虑这两个方面的影响。 定理17中式(186) 体现了这一思想, 即在求前k个阶段的子策略时, 应使前k个阶段的局部总成本与后N-k个阶段的局部总成本之和最小, 而不是仅使前k个阶段的局部总成本最小。 第三十四页，共六十八页，2022年，8月28日 最优性原理一般问题的问题描述(18/22) 4) 从动态规划的逆向递推求解公式(194)可知, 欲求出最优决策u*(0), 就得先求出最优决策u*(1); 依此类推,要求出最优决策u*(1),就得先求出最优决策u*(2); …,最后,归结为首先求出最优决策u*(N-1),再逐步递推回代,相继得到最优决策序列{u*(N-2),…,u*(1),u*(0)}。 由此可知,动态规划法的解题顺序和事物的发展进程相反。下面通过一实例进一步说明多阶段决策的动态规划法的应用。 第三十五页，共六十八页，2022年，8月28日 最优性原理一般问题的问题描述(19/22)—例7-14 例14 图12所示的是某零件的加工工序图,各节点代表机床,箭头代表加工工序,节点间的数字表示零件加工的经济效益。 试求一产生最大经济效益的工序路线。 第三十六页，共六十八页，2022年，8月28日 最优性原理一般问题的问题描述(20/22) 解 根据多阶段决策的动态规划法,反复使用逆向递推公式,则有 J*[F]=0 J*[x1(4)]=4 J*[x2(4)]=3 J*[x1(3)]=max{4+J*[x1(4)]}=8 J*[x2(3)]=max{1+J*[x1(4)],3+J