基于贝叶斯优化的自动机器学习研究综述.docVIP

基于贝叶斯优化的自动机器学习研究综述

自动机器学习（AutoML）旨在将机器学习模型构建的全流程自动化，使非专业领域人员也能高效搭建高性能的机器学习应用，降低机器学习技术的落地门槛。传统机器学习流程中，特征工程、模型选择、超参数调优等环节高度依赖人工经验，不仅耗时耗力，还容易因主观判断偏差导致模型性能受限。贝叶斯优化作为一种高效的黑盒优化算法，凭借其在低评估成本下求解全局最优解的优势，成为当前AutoML系统核心优化模块的主流技术方案，能够有效解决传统网格搜索、随机搜索等方法在高维复杂搜索空间中采样效率低下的问题。

贝叶斯优化的核心框架主要由代理模型、采集函数和优化策略三个部分构成。代理模型用于拟合未知的目标函数分布，常见的代理模型包括高斯过程、随机森林、深度神经网络等。其中高斯过程凭借其不确定性估计准确、理论推导完备的特性，在早期贝叶斯优化研究中被广泛应用，尤其适合低维连续超参数空间的优化场景。但高斯过程的时间复杂度随样本数量呈三次方增长，在处理高维搜索空间或大规模评估样本时性能会急剧下降，因此后续研究逐步引入基于树的代理模型和深度代理模型：随机森林代理模型对高维离散空间和混合类型参数的适配性更强，且训练速度远高于高斯过程，被广泛应用于如Auto-sklearn等主流AutoML框架；而近年来随着深度学习技术的发展，贝叶斯神经网络、深度高斯过程等深度代理模型逐渐成为研究热点，这类