基于概率规划的强化学习策略在不确定性环境下的鲁棒性提升研究综述.docVIP

基于概率规划的强化学习策略在不确定性环境下的鲁棒性提升研究综述

一、不确定性环境下强化学习的核心挑战

在工业控制、自动驾驶、智能机器人等真实场景中，环境动态性、感知噪声、参数扰动等不确定性因素始终是制约强化学习策略落地的核心瓶颈。传统强化学习方法通常假设环境模型是静态且已知的，策略在训练阶段与环境交互获取的奖励信号完全可靠，最终学习到的最优策略仅能适配训练数据分布。但在实际部署场景中，传感器观测误差可能导致状态观测偏差达到15%~30%，环境参数（如机器人关节摩擦系数、交通流密度）可能随时间发生非平稳漂移，甚至存在恶意攻击者对观测或奖励信号进行对抗扰动，这些不确定性会直接导致训练阶段表现优异的策略在部署后性能骤降40%以上，甚至引发安全事故。

不确定性可以被划分为三类：第一类是偶然不确定性，来源于环境本身的随机特性，例如风力对无人机飞行姿态的干扰、电网负载的随机波动，这类不确定性是任务固有属性，无法通过增加观测数据完全消除；第二类是认知不确定性，来源于智能体对环境模型的认知偏差，例如训练数据覆盖不足导致的状态空间盲区、模型参数估计误差，这类不确定性可以通过增加数据采集或模型优化逐步降低；第三类是对抗不确定性，来源于外部主动的干扰行为，例如自动驾驶场景中对抗性交通标志扰动、工业控制系统中的网络攻击，这类不确定性具有目标性和动态性，防御难度最高。

传统鲁棒强化学习方法主要基于极大极小优