基于路径积分的强化学习算法研究综述.docVIP

基于路径积分的强化学习算法研究综述

一、路径积分与强化学习的理论关联基础

路径积分的核心思想源于量子力学领域中费曼提出的路径积分表述，其通过对所有可能的粒子运动轨迹进行加权积分来计算量子系统的演化概率，这一思想在随机动态系统的建模中展现出了极强的通用性。在强化学习场景下，智能体与环境的交互过程本身可被视为一个随机动态系统：智能体在每一步的状态转移受到环境噪声、策略随机性的双重影响，而强化学习的目标本质上是寻找一条使得长期累积回报最大化的状态-动作轨迹。这种对轨迹的关注，恰好与路径积分“遍历所有可能路径并计算最优权重”的核心逻辑高度契合，为二者的融合提供了底层理论支撑。

传统强化学习算法在处理高维连续动作空间任务时，往往面临值函数估计偏差、策略梯度方差过大等问题。而路径积分框架下的强化学习，通过将策略优化问题转化为轨迹的概率推断问题，能够有效规避对值函数精确建模的依赖。具体而言，在路径积分强化学习的范式中，所有可能的状态-动作轨迹被赋予一个与累积回报相关的权重，即回报越高的轨迹对应的概率权重越大，最终的最优策略可以通过对所有轨迹的动作分布进行加权求和得到。这种范式天然适合处理带有随机噪声的连续控制任务，因为路径积分本身就内置了对随机扰动的建模能力，不需要额外引入复杂的噪声处理模块。

路径积分与强化学习结合的核心桥梁是随机最优控制理论中的线性二次调节器（LQR）扩展。在连续状态和连续动