深度学习步长自适应动量优化方法研究综述.pdfVIP

小型微型计算机系统2025年2月第2期

DOI:10.20009/ki,21-1106/TP.2024-0310

JournalofChineseComputerSystemsVol.46No.22025

深度学习步长自适应动量优化方法研究综述

陶蔚²,陇盛²,刘鑫，胡亚豪”,黄金才²

1（军事科学院战略评估咨询中心，北京100091）

2（国防科技大学大数据与决策重点实验室，长沙410073）

3（陆军工程大学指挥控制工程学院,南京210007)

E-mail:taowei@nudt.edu.cn

摘要：当前，以深度神经网络和预训练模型为基础的生成式人工智能受到学术界和工业界的普遍关注.深度学习的研究达到

前所未有的高度，自2015年提出以来，无论是图像、语音还是文本等领域，以Adam为代表的自适应动量优化方法，因其快速的

收敛速度、适应各种梯度和参数变化的能力，已经成为深度学习训练的首选方法，但是仍然存在：1)算法的全局收敛性较差；2)

参数选择策略与理论分析不一致；3针对不同任务的泛化性能有待进一步提升：为分析并解决以上挑战，研究者们分别使用自

适应步长和动量两种优化技巧对自适应动量方法进行了大量研究.本文是这一类方法的研究综述，首先回顾了深度学习优化的

发展背景与面临的挑战，重点介绍了一阶梯度条件下的自适应步长方法、动量算法、步长自适应动量算法、大模型中的应用等，

尤其是针对凸情形下收敛性研究进展进行了系统梳理，最后展望了步长自适应动量算法未来发展方向。

关键词：深度学习；优化算法；动量；自适应步长；收敛性

中图分类号：TP181文献标识码：A文章编号：1000-1220(2025)02-0257-09

ReviewofAdaptiveStepsizeMomentumOptimizationMethodsinDeepLearning

TAOWei2,LONGSheng,LIUXin,HUYahao,HUANGJincai?

I(StrategicAssessmentsandConsultationInstitute,AcademyofMilitaryScience,Bejing100091,China)

2(ChinaLaboratoryforBigDataandDecision,NationalUniversityofDefenseTechnology,Changsha410073,China)

3(CommandandControlEngineeringSchool,ArmyEngineeringUniversity,Nanjing210007,China)

Abstract:Basedondeepneuralnetworksandpretrainedmodels,generativeartificialintelligencehasreceivedwidespreadattentionin

academiaandindustry.Since2015,adaptivestepsizemomentumoptimizationmethodsrepresentedbyAdamhavebecomethepreferred

algorithmfortrainingdeepneuralnetworksinnaturelanguageprocessing,computervision,multimodalcommunities.BecauseAdam

hastheabilitytoconvergequickly,adapttovariousgradientsandparametersettings.However,therearestllseveralissuesfirstly,the

behaviorofglobalconvergenceofthealgorithmispoor;secondly,t