基于状态表示学习的强化学习泛化能力提升方法研究综述.docVIP

基于状态表示学习的强化学习泛化能力提升方法研究综述

强化学习作为智能体通过与环境交互学习最优决策序列的范式，在游戏、机器人控制、推荐系统等领域取得了突破性进展，但现有模型往往在训练环境中性能优异，一旦部署到存在观测噪声、场景扰动、任务参数变化的真实环境中，性能会出现断崖式下跌，这一泛化能力短板已成为制约强化学习落地的核心瓶颈。状态表示学习作为连接原始高维观测与决策语义的关键模块，其编码的表示质量直接决定了智能体对环境变化的鲁棒性与跨任务迁移能力，近年来逐渐成为强化学习泛化领域的研究热点。

状态表示学习与强化学习泛化的内在关联

强化学习的泛化本质是智能体将训练环境中习得的决策知识迁移到未知测试环境的能力，核心挑战在于如何区分环境中影响任务奖励的核心因果因子与无关的干扰因素。传统端到端强化学习直接将原始观测（如图像、点云）映射到动作，容易过度拟合训练环境中的特异性噪声，例如在视觉导航任务中，智能体可能依赖训练场景中特定位置的海报作为导航标识，当测试场景移除该海报后，即使整体空间结构未发生变化，导航成功率也会骤降。

状态表示学习的核心目标是从高维观测中提取紧凑、低维、包含任务关键语义信息的状态向量，理想的状态表示应当满足三个核心特性：一是因果不变性，即表示仅编码对任务奖励有因果影响的环境因子，过滤光照、纹理等干扰变量的影响；二是语义一致性，相同语义的环境状态在表示空间中距离接近，不同语义