基于内在奖励与分层学习的强化学习在复杂任务规划中的效率提升研究综述.docVIP

基于内在奖励与分层学习的强化学习在复杂任务规划中的效率提升研究综述

一、内在奖励机制的核心范式与设计逻辑

内在奖励是强化学习领域为解决稀疏奖励问题提出的核心解决方案，其本质是通过构建不依赖外部环境反馈的内生评价信号，为智能体在探索过程中提供持续的梯度引导。当前主流的内在奖励设计主要分为四类范式，分别针对不同场景下的探索需求。第一类是基于新奇性检测的内在奖励，核心思路是对智能体未见过的状态或状态转移过程赋予较高奖励值，引导智能体主动探索环境中的未知区域。经典的计数型探索方法通过记录每个状态的访问次数，将奖励值设置为访问次数的倒数，这种方法在离散状态空间中表现出较好的效果，但在高维连续状态空间中容易出现状态碰撞问题。为解决这一缺陷，后续研究提出了基于密度估计的改进方案，通过变分自编码器、高斯混合模型等方法估计状态的出现概率，将低概率状态对应为高新奇度，从而生成连续的奖励信号。近年来，基于对比学习的状态表征方法进一步提升了新奇性检测的精度，通过数据增强构造正负样本对，学习具有区分度的状态嵌入向量，使得相似状态在嵌入空间中距离更近，不同状态距离更远，有效降低了高维空间中的相似状态误判概率。第二类是基于因果推理的内在奖励，其核心是让智能体能够识别自身动作与环境变化之间的因果关系，对能够产生可预测环境变化的动作赋予更高奖励。这类方法的典型代表是赋能（Empowerment）概念，通过量化智能体