基于软策略的强化学习安全探索研究综述.docVIP

基于软策略的强化学习安全探索研究综述

一、软策略强化学习的核心框架与安全探索的本质需求

软策略强化学习（SoftPolicyReinforcementLearning,SRL）作为深度强化学习领域的重要分支，其核心思想是在传统马尔可夫决策过程（MDP）的奖励目标中引入策略熵正则项，通过最大化“累积奖励+策略熵”的联合目标，实现策略的随机性与探索性的内生调控。相较于硬策略方法（如DQN、DDPG）输出确定性动作的特性，软策略方法天然具备的随机采样特性，使其在探索未知环境时能够覆盖更广泛的状态动作空间，这也为安全探索问题的解决提供了原生基础。在SRL的经典框架中，软演员-评论家算法（SAC）是最具代表性的实现：其通过两个独立的Q网络估计动作价值，使用温度参数α控制策略的随机程度，在连续控制任务中展现出远超硬策略方法的样本效率和鲁棒性。

安全探索的本质是在强化学习agent与环境交互的过程中，既要保证探索效率以尽快找到最优策略，又要严格避免访问预设的危险状态或执行高风险动作，其核心矛盾可以归纳为“探索自由度”与“安全约束”的博弈。传统硬策略方法的安全探索通常依赖外部约束模块，如在动作输出层加入安全筛选器，或在奖励函数中加入惩罚项，但这类方法往往会导致探索效率急剧下降，甚至出现“安全冻结”现象——agent因害怕惩罚而停止探索未知区域。而软策略方法的随机性特点，使得其可以通过