高保真功能先验通过学习激活函数获得.pdfVIP

高保真功能先验通过学习激活函数获得

MarcinSenderaAminSorkheiTomaszKuśmierczyk

JagiellonianUniversityMilaUniversitédeMontréal

Abstract

贝叶斯神经网络（BNNs）中的函数空间先验提供了一种将信念直接嵌入模

型输出的更直观的方法，从而增强正则化、不确定性量化和风险意识决策。

然而，在BNNs中施加函数空间先验是具有挑战性的。我们通过优化技术来

本解决这一任务，探索可训练激活如何适应更高复杂度的先验并匹配复杂的

译靶标函数分布。我们研究了灵活的激活模型，包括Padé函数和分段线性函

中数，并讨论了与识别性、损失构建和对称性相关的学习挑战。我们的实证发

现表明，即使配备了灵活的可训练激活单个宽隐藏层的BNNs也能有效地

1实现所需的函数空间先验。

v

0

8

81介绍

8

0

.在函数空间而非权重和偏置（参数空间）中训练的模型表现出更平坦的最小值、更好的泛化

8能力和改善了对过拟合的鲁棒性(Qiuetal.,2024)。直接关注输出空间所获得的更好性质在

0

5参数与函数行为之间的关系不直观的情况下尤为有利，特别是对于贝叶斯神经网络（BNNs）

2而言。此外，函数空间先验提供了一种直接指定关于BNNs建模的函数信念的方法，而不仅

:

v仅是参数，从而导致了更直观且往往更有意义的先验知识表示(Tranetal.,2022)。

i

x

r为深度和复杂的模型（如BNN）找到准确的后验概率是出了名的具有挑战性，因为它们具

a有高维参数空间和复杂的似然表面。另一方面，对于单隐藏层宽BNN，最近的研究表明，可

以通过马尔可夫链蒙特卡罗(MCMC)方法高效地进行后验采样(Hronetal.,2022)。此外，

研究还证明了宽BNN的精确后验弱收敛到与BNN先验相匹配的高斯过程(GP)对应的后

验(Hronetal.,2020)。这使得BNN能够继承GP的特性同时保留其优势。例如，由于它

们也可以利用深度学习方法，BNN在大规模数据集上的扩展性更好，相比GPs可以减少计

算负担。神经网络与BNN之间的关系一直是重要的研究课题，在第A节中我们简要讨论这

一话题。

一个由Neal(1996);Williams(1996)提出的经典结果，后来由Leeetal.(2017);Matthews

etal.(2018)扩展到深度神经网络，表明神经网络中的无限宽层在行为上先验的类似于高斯

过程，通过识别与(B)NN协方差匹配的高斯过程核。过去的研究是为了更好地理解神经网

络。我们对类似的环境感兴趣，但我们的目标相反：我们旨在通过匹配两者它们的参数和激

活上的先验，在BNNs中实现函数空间先验（特别是，类似于高斯过程的行为）。与应用于

BNN权重的先验相比，高斯过程先验规范通常提供更大的可解释性。这是因为核清楚地控

denotesequalcontribution

WorkshoponBayesianDecision-makingandUncertainty,38thConferenceonNeuralInfor-

mationProcessing