基于镜像下降的自适应学习指南.docVIP

基于镜像下降的自适应学习指南

一、镜像下降算法的核心原理

镜像下降（MirrorDescent）作为一种优化算法，其核心思想是在传统梯度下降的基础上引入Bregman散度，从而实现更高效的参数更新。与梯度下降直接沿着负梯度方向更新参数不同，镜像下降通过Bregman散度定义了一种“镜像”空间，在该空间中进行梯度下降操作，最终映射回原始参数空间。

Bregman散度是衡量两个点之间差异的一种度量方式，其定义为：对于一个严格凸且可微的函数(\phi)，点(x)相对于点(y)的Bregman散度为(D_\phi(x,y)=\phi(x)-\phi(y)-\langle\nabla\phi(y),x-y\rangle)。在镜像下降算法中，(\phi)被称为镜像映射函数，它的选择直接影响算法的性能和适用场景。

镜像下降的更新公式为：(x_{k+1}=\arg\min_x\left(\langle\nablaf(x_k),x-x_k\rangle+\frac{1}{\eta_k}D_\phi(x,x_k)\right))，其中(f(x))是需要优化的目标函数，(\eta_k)是第(k)步的学习率。通过对该公式进行求解，可以得到参数的更新方向和步长。

从几何角度来看，镜像下降算法