基于贝叶斯优化与元学习的深度学习超参数自动优化方法研究综述.docVIP

基于贝叶斯优化与元学习的深度学习超参数自动优化方法研究综述

一、深度学习超参数优化的核心挑战与研究背景

深度学习模型的性能高度依赖超参数的合理配置，小到学习率、批量大小等训练过程参数，大到网络层数、神经元数量、激活函数类型等架构超参数，甚至正则化强度、优化器选择等策略类超参数，每一项的细微调整都可能导致模型性能产生数量级的差异。传统的超参数调优方式以人工经验驱动为主，依赖研究人员的领域知识和反复试错，在小型数据集和简单模型场景下尚可应对，但随着大语言模型、多模态foundationmodel等复杂架构的兴起，单模型超参数数量已突破数十个，单次训练成本可达数万美元，人工调优的时间成本、经济成本和不确定性都已达到不可接受的程度。

网格搜索和随机搜索是早期被广泛应用的自动化调优方法，但二者的固有缺陷十分明显：网格搜索按照固定步长遍历所有超参数组合，随着超参数维度的升高会出现维度灾难，在5维以上的超参数空间中搜索效率呈指数级下降；随机搜索虽然在高维空间中效率略高于网格搜索，但本质上属于盲目探索，对已搜索的超参数信息没有有效利用，大量算力被浪费在性能较差的超参数区域。在此背景下，贝叶斯优化作为一种基于序列模型的黑盒优化方法，凭借其“利用已有观测结果指导后续搜索”的核心优势，逐渐成为超参数优化领域的主流技术框架。

二、贝叶斯优化的基础框架与演进路径

贝叶斯优化的核心逻辑包含两个关键组件：