基于熵正则化的强化学习探索策略研究综述.docVIP

基于熵正则化的强化学习探索策略研究综述

强化学习作为智能体与环境交互学习最优决策序列的范式，其核心挑战在于平衡探索与利用的矛盾：过度利用已知最优策略易陷入局部最优，过度探索则会导致学习效率低下、样本利用率不足。传统探索策略如ε-贪心、玻尔兹曼采样等大多依赖随机扰动，缺乏对探索程度的系统性量化与调控，在稀疏奖励、高维状态空间等复杂场景下性能瓶颈显著。熵正则化通过在强化学习目标函数中引入策略熵项，将探索的内在激励转化为可优化的数学目标，为探索策略的设计提供了统一的理论框架，近年来在连续控制、多智能体协同、机器人学习等领域取得了突破性进展。

熵正则化强化学习的基础理论框架

熵正则化的核心思想是在标准强化学习的累积奖励目标中增加策略的熵值约束，鼓励智能体在学习高回报策略的同时保持动作选择的多样性，其标准优化目标可表示为：$$J(\theta)=\mathbb{E}{\tau\sim\pi\theta}\left[\sum_{t=0}^Tr(s_t,a_t)+\alpha\mathcal{H}(\pi_\theta(\cdot|s_t))\right]$$其中$\mathcal{H}(\pi_\theta(\cdot|s_t))$为策略在状态$s_t$下的熵值，$\alpha0$为温度系数，用于权衡奖励最大化与探索激励的相对权重。该框架的理论优势在于将探索行为从被动的