基于软策略的强化学习安全探索研究综述.docVIP

基于软策略的强化学习安全探索研究综述

一、软策略强化学习基础框架与安全探索核心矛盾

软策略强化学习（SoftActor-Critic,SAC）作为最大熵强化学习框架的代表性算法，通过在目标函数中引入策略熵项，实现了探索与利用的天然平衡。其核心优化目标可表示为$J(\theta)=\mathbb{E}{(s,a)\sim\rho\theta}[r(s,a)+\alpha\mathcal{H}(\pi_\theta(\cdot|s))]$，其中熵正则化系数$\alpha$控制着策略的随机程度，较高的熵值意味着策略会覆盖更多动作空间，从而提升探索效率。但正是这种对高熵探索的偏好，使得软策略算法在实际部署中面临不可避免的安全风险：在工业控制、自动驾驶、医疗机器人等安全敏感场景中，随机采样的动作可能导致系统进入危险状态——例如机械臂在关节限位附近的探索可能引发硬件碰撞，自动驾驶车辆在变道场景中的随机动作可能触发交通事故。

这种矛盾本质上来源于强化学习的“试错”属性与安全约束的“零容忍”要求之间的冲突。传统的硬约束方法往往通过直接截断危险动作、或在奖励函数中添加大惩罚项实现安全控制，但这两种方式在软策略框架下均存在明显缺陷：动作截断会破坏策略的概率分布连续性，导致最大熵优化的理论特性失效，甚至引发策略收敛至次优解；而惩罚项方法则需要反复调试惩罚系数，系数过小无法有效抑制危险行为，系数过大则