清华大学机械工程课程PPTop-lect11动态规划法.pdfVIP

最优及自适应控制

精仪系董景新

电话办)

Email:dongjx@mail.tsinghua.edu.cn

第十一章动态规划法

动态规划法是美国数学家贝尔曼

（Bellman，R.）在50年代提出的一种分

步最优化方法，也能解决控制变量受到

一定限制的最优控制问题。动态规划的

最优性原理指出，作为整个过程的最优

策略具有这样的性质：即无论以前的状

态和决策如何，对于后面的决策所形成

的状态而言，余下的诸决策必须构成最

优策略。

该性质也可简单表述为：一个最优

策略的子策略总是最优的。当系统满

足最优性原理，其状态满足无后效性

时，可将一个多步决策问题转化为一

系列单步决策问题，然后从最后一步

状态开始逆向递推到初始步状态为

止，形成一套求解最优策略的方法。

其分步决策本身是一种离散方法，

故动态规划法的研究从离散系统开始。

11.1离散系统的动态规划法

11.2连续系统的动态规划法

11.1离散系统的动态规划法

例：

A35

A5610402925

786

710573618

2923

989

10568

31211610

7

61210

7911272011

BB

如上图，欲寻求从A点到B点的最短行

走路径。可从B点开始逆向分六级依次

判断，从而得到如上右图虚线所示的最

短行走路径。这种方法与穷举法比较减

少了计算次数。路线图边界的段数越

多，计算量减少得越多，如下表所示。

动态规划的计算次数

路线图边界的段数34567n

AB可能路线数20702529243432(2n)!/(n!n!)

动态规划法的计算15243548632

(1)+1n−

次数

例：

xkxkuk+1+0,1,2,,k1LN−

xxk0当k0

121N−12

Jcxu+N∑k

22k0

求解最优控制uk（设N=2，只求二步控

制问题）