基于状态-动作序列建模的离线强化学习策略与分布外动作约束方法研究综述.docVIP

基于状态-动作序列建模的离线强化学习策略与分布外动作约束方法研究综述

离线强化学习（OfflineReinforcementLearning,OfflineRL）无需与环境实时交互，仅通过预先采集的静态数据集即可训练策略，为医疗决策、自动驾驶、工业控制等交互成本极高的场景提供了可行的落地路径。传统单步状态-动作独立建模的方法受限于数据集分布偏移问题，当训练过程中生成的动作脱离数据集分布范围（即分布外动作，Out-of-DistributionAction,OODAction）时，容易出现价值函数高估、策略泛化能力骤降等问题。近年来，基于状态-动作序列建模的方法逐渐成为研究热点，其通过挖掘序列中蕴含的状态转移依赖、动作时序关联等信息，能够更精准地识别分布外动作，同时为策略约束提供更细粒度的依据。

一、离线强化学习中分布外动作问题的核心成因

分布外动作的产生本质上是训练数据分布与策略优化目标分布之间的固有矛盾，具体可以从数据集特性、策略优化机制、环境非平稳性三个维度展开分析。

从数据集层面来看，离线数据集的采集过程通常存在三类固有偏差：一是覆盖性偏差，即数据集仅能记录有限场景下的状态-动作对，无法覆盖环境所有可能的状态空间，对于高维连续状态空间（如自动驾驶中的多车交互场景），此类偏差几乎不可避免；二是质量偏差，数据集往往混合了专家演示、次优策略采样甚至随机探索数据，不同质