基于近似动态规划的优化控制研究综述.docVIP

基于近似动态规划的优化控制研究综述

一、近似动态规划的核心理论基础

动态规划作为求解序贯决策问题的经典框架，自1950年代贝尔曼提出以来，始终是最优控制领域的核心方法。但传统动态规划存在的“维数灾”问题，使其难以应用于高维复杂系统的控制场景。近似动态规划（ApproximateDynamicProgramming,ADP）通过引入函数近似、蒙特卡洛采样等技术，突破了传统动态规划的计算瓶颈，为不确定环境下的连续状态空间控制问题提供了可行求解路径。

ADP的核心思想是对价值函数或策略函数进行参数化近似，避免对状态空间的全域遍历。其基本架构包含三个核心模块：策略评估模块负责估算当前策略下的长期累积回报，策略改进模块基于价值评估结果更新控制策略，交互采样模块通过与实际系统或仿真环境的交互获取训练数据。与传统动态规划相比，ADP的核心优势在于其无需预先掌握系统精确的动力学模型，仅通过在线交互数据即可实现策略的迭代优化，这一特性使其在工业过程控制、智能交通、机器人控制等模型难以精确建模的场景中具有天然适用性。

价值函数近似是ADP的核心技术环节，主流近似方法可分为三类：第一类是基于基函数的线性近似，通过选取多项式基、径向基函数、傅里叶基等预设基函数的线性组合拟合价值函数，这类方法计算复杂度低、可解释性强，但近似精度受基函数选择的限制，难以适配高度非线性的系统；第二类是非线性函数近似，包括