深度学习问答05：Adam、RMSprop优化器原理及参数配置技巧.docxVIP

深度学习问答05：Adam、RMSprop优化器原理及参数配置技巧

一、核心问答正文

问题1：为什么要单独深入学习自适应优化器？

在上一篇《深度学习问答04：梯度下降、随机梯度下降SGD区别与优化方案》中，我们系统学习了BGD、SGD、MBGD三类基础梯度下降算法，并初步认识Momentum、RMSprop、Adam三种高阶优化器。

我们已知晓MBGD是现代深度学习的基础训练模式，但该算法存在无法规避的固有缺陷：全程使用全局固定学习率，对网络内所有参数无差别更新。但神经网络内部参数特性各不相同：稠密参数更新频率高、梯度波动小，需要较小学习率；稀疏参数更新频次低、梯度稀缺，需要较大学习率，单一学习率很难兼顾全部参数。

为解决固定学习率的痛点，行业研发出自适应学习率优化器，其中以RMSprop、Adam使用率最高。二者是CNN、Transformer、全连接网络、各类分类/检测模型的核心优化工具，同时参数调优也是面试、软考拔高题型的必考内容。本篇从零拆解底层原理，对比各类优化器优劣，分享实战调参方案，补齐深度学习优化器完整知识体系。

问题2：传统Momentum动量优化器的局限性

在深入自适应优化器之前，我们需要明确Momentum的短板，这也是RMSprop、Adam诞生的核心原因。Momentum是SGD的升级版，依靠惯性机制累积历史梯度，仅解决了梯度震荡、收敛速度慢的问题。

（