基于状态熵的强化学习探索效率研究综述.docVIP

基于状态熵的强化学习探索效率研究综述

强化学习作为一类通过智能体与环境交互自主优化决策策略的机器学习范式，在机器人控制、游戏AI、推荐系统等领域已取得突破性进展，但样本效率低下始终是制约其落地复杂现实场景的核心瓶颈。探索与利用的平衡是影响强化学习样本效率的核心矛盾：过度聚焦已知高回报区域会导致策略陷入局部最优，过度探索未知区域则会造成大量无效样本消耗。状态熵作为量化环境状态不确定性的核心度量指标，为破解探索效率困境提供了兼具理论严谨性与工程可实现性的全新路径。

状态熵的理论基础与度量框架

状态熵的概念源自信息论中对随机变量不确定性的量化，在强化学习场景中特指对环境状态分布无序程度的度量。对于离散状态空间，状态熵的经典定义为：$H(S)=-\sum_{s\inS}p(s)\logp(s)$，其中$p(s)$为智能体观测到状态$s$的边际概率。针对连续状态空间的分布特性，研究者通常采用微分熵替代离散熵，其表达式为$h(S)=-\int_{S}p(s)\logp(s)ds$，并通过核密度估计、高斯过程等非参数方法拟合高维状态的概率分布。

状态熵与传统探索方法中使用的访问计数、回报方差等不确定性度量存在本质差异。访问计数仅能反映状态被观测的频次，无法区分“高频访问但动态特性未知”和“高频访问且动态完全建模”两类状态；回报方差受奖励函数设计影响显著，在稀疏奖励场景下