最优控制动态规划.ppt

例6-1设一阶离散系统的状态方程为初始条件为x(0)，控制变量u不受约束，性能指标为求最优控制u*(t)，使J达最小，为简便起见，设N＝2解设在u(0)、u(1)作用下，系统状态为x(0)、x(1)、x(2)先考虑从x(1)到x(2)的情况，控制为u(1)第30页,共52页，星期六，2024年，5月再考虑从x(0)到x(1)的情况，控制为u(0)最优控制序列为最优性能指标为第31页,共52页，星期六，2024年，5月连续系统的动态规划

设系统的状态方程和性能指标为（6-19）（6-20）受约束，可写成为某一闭集。要寻找满足此约束且使最小的最优控制。第32页,共52页，星期六，2024年，5月设时间在区间内，则根据最优性原理，从到这一段过程应当是最优过程。把这段最优指标写成,则（6-21）显然满足终端条件通常假定对及的二阶偏导数存在且有界。第33页,共52页，星期六，2024年，5月现在，考虑系统从出发，到分两步走：先从到，再从到，是小量，则（6-23）根据最优性原理，从也应是最优过程。第34页,共52页，星期六，2024年，5月因故这样，式（6-23）可写成（6-24）第35页,共52页，星期六，2024年，5月注意到，上式右边括号中表示最优指标，其中为最优控制，不需再选择，也与选择无关。故从上式两端消去，除以，再令，可得（6-25）第36页,共52页，星期六，2024年，5月引用以前使用过的哈密顿函数（6-26）（6-27）则（6-25）可写成（6-28）第37页,共52页，星期六，2024年，5月（6-25）或（6-28）称为哈密顿—雅可比—贝尔曼方程，边界条件是：哈密顿—雅可比—贝尔曼方程在理论上很有价值，但它是的一阶偏微分方程并带有取极小的运算，因此求解是非常困难的，一般情况得不到解析解，只能用计算机求数值解。对于线性二次问题，可以得到解析解，而且求解结果与用极小值原理或变分法所得结果相同。这时，哈密顿——雅可比——贝尔曼方程可归结为黎卡提方程。在实际计算线性二次问题时，一般用直接求解黎卡提方程来求最优控制。第38页,共52页，星期六，2024年，5月例6-3设系统状态方程为初始状态不受约束，性能指标为求最优控制u*(t)，使性能指标J为最小。解由于因为系统是时不变的，并且性能指标的被积函数不是时间的显函数，故第39页,共52页，星期六，2024年，5月解由于因为系统是时不变的，并且性能指标的被积函数不是时间的显函数，故解得第40页,共52页，星期六，2024年，5月引用以前使用过的哈密顿函数（6-26）（6-27）则（6-25）可写成（6-28）第41页,共52页，星期六，2024年，5月思考题HJB方程与极小值原理的区别和联系？第42页,共52页，星期六，2024年，5月动态规划与极小值原理

动态规划和极小值原理是最优控制理论的两大基石，它们都可以解决有约束的最优控制问题，虽然在形式上和解题方法上不同，但却存在着内在的联系。下面我们从动态规划来推演极小值原理，不过要说明这种推演是基