c4-贝叶斯优化-介绍PPT.pdf

贝叶斯优化

黄政宇

北京⼤学北京国际数学研究中⼼

北京⼤学国际机器学习研究中⼼

1

贝叶斯优化

Ø⽬标函数

max

模型

输⼊(设

输出(受到的

计、运⾏

⼒、结构的响

条件等)

应等和相应的

不确定性)

2

贝叶斯优化

Ø对不同⼯况反复求解优化设计

4天1000CPUs

3

贝叶斯优化

Ø挑战

每次计算计算量很⼤，函数的评估被认为

是“昂贵的”，这意味着可以执⾏的评估次数是有

限的，通常只限于⼏百次。

像由⿊盒，函数缺乏诸如凹性或线性等已知

的特殊结构，也难以得到⼀阶或⼆阶导数的信息，

这些结构会使得利⽤相关技术来优化函数变得容易

并提⾼效率。我们总结这⼀点，说是⼀个“⿊箱”。

关注点在于寻找全局最优解，⽽⾮局部最优解

4

贝叶斯优化

Ø贝叶斯优化

5

贝叶斯优化

Ø贝叶斯优化

给定先验分布∼0,

给定事先选定的点=,,⋯,，以及相

应的值={,,⋯,()}

依次添加新的点，根据

计算后验分布|

根据后验分布，以及给定的采样函数(acquisition

function），选取新的点，计算()

6

采样函数

Ø概率改进(Probabilityofimprovement)采样函数

定义∗=max()

当我们选了新点，我们得到的值为

1≥∗