基于熵正则化的强化学习策略多样性探索与控制研究综述.docVIP

基于熵正则化的强化学习策略多样性探索与控制研究综述

一、熵正则化与强化学习的基础融合逻辑

强化学习的核心矛盾始终围绕探索与利用的平衡展开：智能体需要在未知环境中尝试新动作以发现更优策略，同时也要基于已积累的经验最大化奖励信号。传统基于价值迭代或策略梯度的方法往往倾向于收敛到确定性最优策略，这一特性在单任务静态环境中具备效率优势，但在稀疏奖励、多模态最优解、动态迁移等场景下会陷入局部最优、泛化能力不足的困境。熵正则化的引入为解决这一矛盾提供了可量化的调节框架，其核心思想是在传统强化学习目标函数中加入策略熵项，通过鼓励策略的随机化程度提升探索能力，基本优化目标可表示为：$$\max_{\pi}\mathbb{E}{(s,a)\sim\rho{\pi}}\left[r(s,a)+\alpha\mathcal{H}(\pi(\cdot|s))\right]$$其中$\mathcal{H}(\pi(\cdot|s))$为策略$\pi$在状态$s$下的熵值，$\alpha$为温度系数，用于控制熵正则项的权重。当$\alpha=0$时，目标退化为传统最大化累积奖励的强化学习问题；当$\alpha$增大时，策略会更倾向于随机选择动作，探索范围随之扩大。

熵正则化的理论价值首先体现在其对策略优化空间的平滑作用。在深度强化学习场景中，奖励函数的非凸性、状态空间的高维性往往导致策略梯度估计