面向非线性系统的自学习自适应动态规划最优控制框架及收敛性保证设计.docxVIP

面向非线性系统的自学习自适应动态规划最优控制框架及收敛性保证设计.docx

PAGE2

面向非线性系统的自学习自适应动态规划最优控制框架及收敛性保证设计

摘要

非线性系统的最优控制因“维数灾”与Hamilton-Jacobi-Bellman方程难以解析求解，一直是控制领域的前沿难题。自适应动态规划通过函数近似逼近最优代价函数，为复杂非线性系统提供了一条可行路径，但其在线学习稳定性与收敛速度仍存在显著不足。

本设计针对一类连续时间仿射非线性系统，构建了一种融合自学习评价-执行网络的自适应动态规划最优控制框架，并引入李雅普诺夫稳定条件，从结构上保证控制策略的收敛性与闭环稳定性。

论文首先分析非线性最优控制的需求与现有方案的局限，进而设计总体框架：评价网络以深度神经网络逼近值函数，执行网络在线生成近似最优控制律，两者交替更新实现策略迭代。为提升学习效率，设计了自适应学习率调节与经验重放机制；为保障收敛，在权重更新中嵌入李雅普诺夫约束，并给出收敛性证明。

后续章节详细给出了网络结构、算法伪代码、数据流设计，并在MATLAB仿真环境实现该框架，以倒立摆和连续搅拌釜反应器为对象验证有效性。测试结果表明，与传统ADP方法相比，本框架收敛速度提升约35%，稳态误差降低20%，且对参数摄动具有良好鲁棒性。

本设计的创新点在于：将李雅普诺夫收敛条件直接编码进评价-执行网络的学习过程，无需额外监督信号，实现了自学习与稳定性保证的一体化设计。