面向通过梯度告知贝叶斯神经网络实现可扩展的贝叶斯优化.pdfVIP

面向通过梯度告知贝叶斯神经网络实现可扩展的贝

叶斯优化

GeorgiosMakrygiorgosJoshuaHangSaiIp

AliMesbah

DepartmentofChemicalandBiomolecularEngineering,

UniversityofCalifornia,Berkeley,CA94720,USA.

摘要贝叶斯优化（BO）是一种广泛使用的数据驱动优化方法，通常依赖目标函数的零阶

数据来构建概率代理模型。这些代理指导探索-利用过程以找到全局最优解。虽然高斯过程

（GP）常被用作未知目标函数的代理，但最近的研究强调了贝叶斯神经网络（BNN）作为

可扩展和灵活替代方案的潜力。此外，在可用的情况下，将梯度观察值纳入GP已被证明

本可以提高BO性能。然而，在BNN代理中使用梯度仍然未被探索。通过利用自动微分技

译术，梯度信息可以无缝地融入到BNN训练中，从而形成对BO更有利的信息丰富的代理

中模型。我们提出了一种基于梯度的损失函数用于BNN训练，有效增强了函数观察值与局

2部梯度信息。该方法的有效性在知名基准测试中得到了验证，在决策变量数量增加时表现

v

6出改进后的BNN预测和更快的BO收敛速度。

7

0Keywords:数据驱动优化；贝叶斯优化；贝叶斯神经网络。

0

1

4.1.介绍用于在更复杂、可能是多目标任务中结合全局和局部

0搜索(Ipetal.,2025,2024)。在带有GP的BO中利用

5贝叶斯优化（BO）(Močkus,1974)在具有未知或部分梯度（或更高阶导数）的标准方法是通过定义一个联合

2

:已知结构的函数优化中，在各种决策应用中一直是一个核来使用函数和梯度观测值(Erikssonetal.,2018;Wu

v

i强大的工具。BO通过顺序解决更简单的优化子问题来etal.,2017a)。或者，为了缓解由于噪声函数和导数观

x

r处理黑盒优化问题。这是通过结合一个概率代理模型实测值带来的挑战，可以使用概率模型直接建模梯度，并

a

现的，该模型将目标表示为决策输入的函数，并且基于利用这些梯度来在AF(Makrygiorgosetal.,2023a,b)中

当前对目标的认知，建议在设计空间中查询目标的点。强制执行最优性条件。

BO传统上是一种零阶优化方法，完全依赖于目标函尽管如此，GPs在这一背景下仍然存在若干限制，包

数的观测值来精化其对目标函数的认识。至于目标函括推理时间随观测数量和输入维度的增加而呈立方

数的代理建模，高斯过程（GP）回归是一个流行的选级增长。特别是，GP推理的计算复杂度分别为联合核

择(WilliamsandRasmussen,2006)。最近的研究表明

和独立核的和(Wuetal.,

了在BO中通过GP利用导数信息的好处；完全观测2017b)。这一挑战促使使用神经网络（NNs）进行概率

到的梯度可以在给定输入处每次系统查询时提供建模，并将它们与非参数核方法如GPs的思想相结合。

个额外观测值，其中是输入维度。这为观测点周围深度核学习(Wilsonetal.,2016)是一种改进标准GP

提供了有用的信息，从而导致了目标函数近似更为准