基于Shampoo优化的二阶信息研究报告.docVIP

基于Shampoo优化的二阶信息研究报告

一、Shampoo优化算法的核心原理

Shampoo优化算法是由GoogleBrain团队提出的一种二阶优化算法，其核心在于对神经网络训练中的二阶信息进行更高效的利用与处理。与传统的一阶优化算法（如SGD、Adam）仅利用梯度的一阶信息不同，Shampoo通过引入预条件矩阵（Preconditioner）来对梯度进行变换，从而实现更精准的参数更新。

（一）预条件矩阵的构建

Shampoo的预条件矩阵是基于参数的二阶统计信息构建的。对于神经网络中的每个参数矩阵(W\in\mathbb{R}^{m\timesn})，Shampoo分别计算其行和列的二阶矩矩阵：

行二阶矩矩阵(R\in\mathbb{R}^{m\timesm})，其中(R_{i,j}=\sum_{k=1}^{n}g_{i,k}g_{j,k})，(g_{i,k})是参数(W_{i,k})的梯度。

列二阶矩矩阵(C\in\mathbb{R}^{n\timesn})，其中(C_{i,j}=\sum_{k=1}^{m}g_{k,i}g_{k,j})。

通过对行和列的二阶矩矩阵分别进行特征值分解（EVD）或Cholesky分解，Shampoo得到两个变换矩阵(U)和(V)，用于对梯度进行预条