基于不确定性量化的强化学习策略鲁棒性提升方法研究综述.docVIP

基于不确定性量化的强化学习策略鲁棒性提升方法研究综述

强化学习（ReinforcementLearning,RL）通过智能体与环境的交互迭代优化决策策略，在自动驾驶、机器人控制、电力系统调度等复杂场景中已展现出超越人类专家的决策性能。然而现实世界环境普遍存在的随机扰动、观测噪声、模型偏差等不确定性因素，常导致训练阶段表现优异的RL策略在部署后出现性能骤降甚至安全事故，策略鲁棒性不足已成为制约强化学习落地应用的核心瓶颈。不确定性量化（UncertaintyQuantification,UQ）技术通过对决策过程中各类不确定性的来源、传播规律与影响范围进行建模与度量，为鲁棒强化学习的策略优化与风险防控提供了可解释的定量依据，近年来已成为该领域的研究热点。

一、强化学习中的不确定性来源分类与特性

强化学习决策链的全流程均可引入不确定性，根据来源可划分为环境固有不确定性、数据不确定性与模型不确定性三类。环境固有不确定性是系统本身的随机属性，如自动驾驶场景中行人的突发横穿行为、电力系统中可再生能源出力的随机波动，这类不确定性具有不可消除性，通常以概率分布的形式存在，是策略需要适应的客观环境特征。现有研究中常采用随机过程建模该类不确定性，例如使用马尔可夫决策过程（MDP）中的转移概率矩阵表征状态转移的随机性，但其前提是不确定性分布可通过历史数据统计得到。当环境呈现非平稳特性时，如交通流量