基于贝叶斯优化的强化学习策略调参研究综述.docVIP

基于贝叶斯优化的强化学习策略调参研究综述

一、强化学习调参的核心挑战与贝叶斯优化的适配性

强化学习（RL）系统的性能高度依赖超参数配置，从学习率、折扣因子等基础算法超参数，到奖励函数权重、神经网络层宽度等架构超参数，再到探索率衰减系数、经验回放池容量等训练流程超参数，累计可调节参数可达数十个，其组合空间呈现指数级增长特征。传统调参方法中，网格搜索在高维空间下计算成本呈幂次上升，面对深度强化学习（DRL）动辄需要数百万训练步的场景完全不具备可行性；随机搜索虽然搜索效率略高于网格搜索，但缺乏对历史评估信息的利用，容易在低性能参数区域浪费大量计算资源；手动调参则极度依赖研究者的领域经验，可复现性差且难以适配复杂任务的参数耦合特性。

贝叶斯优化作为一种高效的黑箱优化方法，恰好能够匹配强化学习调参的核心需求：其一，贝叶斯优化基于代理模型对未知目标函数进行拟合，能够充分利用每一次参数评估的结果指导后续搜索方向，在样本效率上比随机搜索高出1-2个数量级，尤其适合强化学习这类评估成本极高的场景；其二，贝叶斯优化的采集函数能够在探索（搜索未采样的高不确定性区域）和利用（挖掘当前已知的高性能区域）之间实现动态平衡，恰好对应强化学习调参中发现潜在最优参数组合和收敛到最优参数附近的双重需求；其三，贝叶斯优化天然支持离散、连续、条件化等多种类型参数的混合优化，能够适配强化学习中从连续的学习率到离散的网络层数