基于内在奖励塑造的强化学习高效探索策略研究综述.docVIP

基于内在奖励塑造的强化学习高效探索策略研究综述

强化学习作为智能体通过与环境交互实现目标优化的机器学习范式，在自动驾驶、游戏AI、机器人控制等领域已取得突破性进展。但传统强化学习算法依赖环境提供的稀疏外在奖励信号，当奖励反馈延迟、状态空间维度爆炸时，智能体往往陷入随机盲目探索，样本效率极低甚至无法收敛。内在奖励塑造技术通过为智能体构建额外的内部反馈信号，引导其主动探索环境中的未知区域、学习更具泛化性的状态表示，成为破解稀疏奖励场景下探索效率瓶颈的核心路径。近年来随着深度表示学习与元学习技术的融入，内在奖励塑造的范式不断革新，相关研究呈现出多学科交叉融合的特征，亟需系统性梳理其理论脉络、技术框架与应用边界。

一、内在奖励塑造的理论基础与核心范式

内在奖励的生物学灵感来源于人类与动物的好奇心驱动行为——生物在无明确外在奖励的情况下，会主动探索新奇环境以获取信息，这种探索行为本身就具备内在价值。在强化学习框架下，内在奖励被定义为不依赖任务目标、由智能体自身状态与环境交互过程内生的奖励信号，其核心目标是量化环境的“信息增益”或“状态新奇性”，从而弥补外在奖励稀疏的缺陷。

目前主流的内在奖励塑造范式可分为三类：第一类是基于新奇性检测的内在奖励，核心是度量智能体对当前状态的熟悉程度，为首次访问或低访问频率的状态分配更高的奖励值。这类方法早期以计数-based方法为代表，通过哈希编码对离散状态进