基于贝叶斯推断的强化学习策略在模型不确定性下的风险敏感控制研究综述.docVIP

基于贝叶斯推断的强化学习策略在模型不确定性下的风险敏感控制研究综述

一、研究背景与问题提出

在工业控制、自主机器人、金融决策等复杂动态系统中，智能体的决策过程往往面临显著的模型不确定性：一方面，环境的状态转移规律可能受未知参数、随机干扰或非平稳因素影响，难以通过先验建模得到精确描述；另一方面，传感器噪声、观测延迟导致智能体对环境状态的感知存在偏差，进一步放大了决策过程的风险。传统强化学习方法大多基于马尔可夫决策过程（MDP）的精确模型假设，通过最大化期望累积回报优化策略，在模型失配场景下容易出现策略鲁棒性不足、甚至引发灾难性后果，例如自动驾驶车辆在罕见天气下的决策失误、电力系统调度在负荷突增时的稳定性破坏等。

风险敏感控制的核心目标是在决策过程中主动量化并规避不确定性带来的潜在损失，近年来已成为强化学习领域的研究热点。早期风险敏感强化学习主要通过在目标函数中引入风险度量（如条件风险价值CVaR、熵风险度量、累积前景理论效用函数）实现对风险的调控，但这类方法通常将不确定性作为外生给定的噪声项，缺乏对模型不确定性来源的系统性建模，导致风险估计的精度随环境复杂度提升而显著下降。贝叶斯推断为模型不确定性的动态量化提供了理论框架，通过将环境模型参数、状态转移分布甚至策略本身建模为随机变量，结合观测数据的后验更新过程，能够实现对不确定性的自适应跟踪，为风险敏感控制提供可解释的决策依据。

二、贝