2026年最新优化算法 面试题及答案.docx

2026年最新优化算法面试题及答案

请问梯度下降法中，批量梯度下降、小批量梯度下降、随机梯度下降的核心区别，当前工业界主流用哪一种，为什么？

三者的核心差异在于每次参数更新时用到的训练样本量不同：批量梯度下降每次更新参数会遍历整个训练集的所有样本，梯度计算准确，更新方向稳定，不容易震荡，但当训练集规模达到百万甚至十亿级别时，单次迭代计算量极大，难以适配大规模训练，还会占用大量显存，无法处理大模型；随机梯度下降每次更新仅用1个样本，计算速度极快，适合在线学习场景，但单样本梯度的方差极大，更新方向波动大，容易收敛到局部最优甚至出现震荡不收敛的情况；小批量梯度下降每次取一小批（通常是8~1024个