基于安全强化学习的约束策略优化研究综述.docVIP

基于安全强化学习的约束策略优化研究综述

一、安全强化学习的基础范式与约束策略的核心地位

安全强化学习（SafeReinforcementLearning,SRL）的核心目标是在智能体与环境交互的过程中，不仅最大化长期累积奖励，同时满足系统预设的安全性约束。在传统强化学习的马尔可夫决策过程（MDP）框架中，智能体的决策仅考虑状态转移概率与奖励函数，而安全约束的引入将MDP扩展为约束马尔可夫决策过程（CMDP）：在标准的状态空间$\mathcal{S}$、动作空间$\mathcal{A}$、转移函数$P$、奖励函数$R$之外，额外引入约束函数$C(s,a)\geq0$（或$C(s,a)\leq\epsilon$），要求智能体在任意状态$s$下选择动作$a$时，约束函数的期望累积值始终满足阈值限制。约束策略优化正是CMDP框架下的核心研究方向，其核心挑战在于平衡奖励最大化与约束满足的双重目标——尤其是在高维连续状态空间、环境动态未知、约束边界模糊的复杂场景中，如何避免策略优化过程中出现不可逆的安全违规，同时保证策略的渐近最优性，是该领域长期面临的核心问题。

早期约束策略优化研究多依赖硬约束惩罚机制，即当智能体发生安全违规时，在奖励函数中加入较大的惩罚项，将约束满足问题转化为单目标优化问题。这类方法的局限性十分突出：惩罚系数过小会导致智能体为了追求高奖励主动突破约束，惩罚系数