基于贝叶斯优化的超参数调优研究综述.docVIP

基于贝叶斯优化的超参数调优研究综述

超参数是机器学习模型在训练过程中预先设定、无法通过数据自动学习的参数，其取值直接决定模型的拟合能力、泛化性能与训练效率。传统超参数调优方法如网格搜索、随机搜索存在计算成本高、搜索效率低等缺陷，难以适配大规模模型与高维超参数空间的调优需求。贝叶斯优化作为一种基于序贯模型的全局优化方法，通过代理模型拟合未知目标函数分布、利用采集函数平衡探索与利用关系，能够在较少迭代次数下逼近最优超参数组合，近年来已成为超参数调优领域的研究热点。

贝叶斯优化的核心框架与基础理论

贝叶斯优化的核心逻辑是“先验假设-后验更新-迭代搜索”的闭环过程，其基础框架主要包含三个核心组件：概率代理模型、采集函数、序贯优化策略。

概率代理模型的作用是基于已观测的超参数-性能样本，拟合未知目标函数的后验分布，为后续采样点选择提供概率性指导。高斯过程是贝叶斯优化中应用最广泛的代理模型，其通过均值函数与协方差函数描述目标函数的分布特性，假设任意有限个采样点的函数值服从联合高斯分布，能够自然量化预测不确定性，为采集函数计算提供概率基础。针对高维空间与大规模样本场景，随机森林、深度神经网络等代理模型也逐渐得到应用：随机森林代理模型对非光滑目标函数具有更强的鲁棒性，无需对目标函数分布做先验假设；贝叶斯神经网络通过引入权重的概率分布，能够同时表达模型本身与预测结果的双重不确定性，适配复杂非线性目标