基于状态表征学习的强化学习在视觉控制任务中的泛化能力研究综述.docVIP

基于状态表征学习的强化学习在视觉控制任务中的泛化能力研究综述

强化学习作为智能体通过与环境交互自主学习最优策略的范式，在围棋、电子竞技、机器人控制等领域已取得突破性进展。但传统强化学习算法在面对视觉输入场景时，往往存在采样效率低下、泛化能力不足等问题——当测试环境与训练环境存在视觉属性、场景布局、光照条件等方面的差异时，模型性能通常会出现断崖式下跌。这类局限性成为了强化学习落地真实世界视觉控制任务的核心瓶颈。近年来，状态表征学习技术的兴起为破解这一难题提供了新思路，通过将高维、冗余的视觉输入映射为低维、包含核心语义的结构化表征，能够有效降低策略学习的复杂度，提升智能体对不同环境变化的适应能力，相关研究成果呈现爆发式增长，逐渐成为深度强化学习领域的核心研究方向之一。

状态表征学习的核心范式与技术路径

状态表征学习的核心目标是从高维观测数据中提取出能够反映环境真实状态、具备语义一致性的低维特征向量，从而为后续策略学习提供高效的输入表示。当前主流的状态表征学习范式可分为三类：基于重构的表征学习、基于对比学习的表征学习，以及基于世界模型的表征学习。基于重构的表征学习是最早被广泛应用的技术路径，其核心思想是通过自动编码器架构，让编码器将视觉观测编码为隐层表征，再由解码器基于隐层表征重构出原始观测输入，通过最小化重构误差迫使表征捕捉观测中的核心信息。早期研究大多采用传统的卷积自动编码器，后续为