用于训练神经网络的自适应梯度下降优化算法.pdfVIP

第４０卷第１期哈尔滨商业大学学报(自然科学版)Ｖｏｌ.４０Ｎｏ.１

２０２４年２月ＪｏｕｒｎａｌｏｆＨａｒｂｉｎＵｎｉｖｅｒｓｉｔｙｏｆＣｏｍｍｅｒｃｅ(ＮａｔｕｒａｌＳｃｉｅｎｃｅｓＥｄｉｔｉｏｎ)Ｆｅｂ.２０２４

用于训练神经网络的自适应梯度下降优化算法

阮乐笑

(安徽理工大学数学与大数据学院ꎬ安徽淮南２３２００１)

摘要:由于神经网络规模的扩大ꎬ模型训练变得越来越困难.为应对这一问题ꎬ提出了

一种新的自适应优化算法———Ａｄａｂｏｕｎｄｉｎｊｅｃｔ.选取Ａｄａｍ的改进算法Ａｄａｂｏｕｎｄ算法ꎬ

引入动态学习率边界ꎬ实现了自适应算法向随机梯度下降(ＳＧＤ)的平稳过渡.为了避免

最小值的超调ꎬ减少在最小值附近的振荡ꎬ在Ａｄａｂｏｕｎｄ的二阶矩中加入一阶矩ꎬ利用短

期参数更新作为权重ꎬ以控制参数更新.为了验证算法性能ꎬ在凸环境下ꎬ通过理论证明

了Ａｄａｂｏｕｎｄｉｎｊｅｃｔ具有收敛性.在非凸环境下ꎬ进行了多组实验ꎬ采用了不同的神经网

络模型ꎬ通过与其他自适应算法对比ꎬ验证了该算法相比其他优化算法具有更好的性

能.实验结果表明ꎬＡｄａｂｏｕｎｄｉｎｊｅｃｔ算法在深度学习优化领域具有重要的应用价值ꎬ能够

有效提高模型训练的效率和精度.

关键词:深度学习ꎻ自适应优化算法ꎻ神经网络模型ꎻ图像识别ꎻ动态学习率边界ꎻ短期参

数更新

中图分类号:ＴＰ１８１文献标识码:Ａ文章编号:１６７２－０９４６(２０２４)０１－００２５－０７

Ａｄａｐｔｉｖｅｇｒａｄｉｅｎｔｄｅｓｃｅｎｔｏｐｔｉｍｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍｆｏｒｔｒａｉｎｉｎｇｎｅｕｒａｌｎｅｔｗｏｒｋｓ

ＲＵＡＮＬｅｘｉａｏ

(ＳｃｈｏｏｌｏｆＭａｔｈｅｍａｔｉｃｓａｎｄＢｉｇＤａｔａꎬＡｎｈｕｉＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙꎬＨｕａｉｎａｎ２３２００１ꎬＣｈｉｎａ)

Ａｂｓｔｒａｃｔ:Ｄｕｅｔｏｔｈｅｉｎｃｒｅａｓｉｎｇｓｃａｌｅｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｓꎬｍｏｄｅｌｔｒａｉｎｉｎｇｈａｄｂｅｃｏｍｅ

ｉｎｃｒｅａｓｉｎｇｌｙｃｈａｌｌｅｎｇｉｎｇ.Ｉｎｒｅｓｐｏｎｓｅｔｏｔｈｉｓｉｓｓｕｅꎬａｎｅｗａｄａｐｔｉｖｅｏｐｔｉｍｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍ

ｃａｌｌｅｄＡｄａｂｏｕｎｄｉｎｊｅｃｔｗａｓｐｒｏｐｏｓｅｄ.ＢｕｉｌｄｉｎｇｕｐｏｎｔｈｅｉｍｐｒｏｖｅｄＡｄａｍａｌｇｏｒｉｔｈｍꎬｔｈｅ

Ａｄａｂｏｕｎｄａｌｇｏｒｉｔｈｍｉｎｔｒｏｄｕｃｅｄｄｙｎａｍｉｃｌｅａｒｎｉｎｇｒａｔｅｂｏｕｎｄａｒｉｅｓｔｏｆａｃｉｌｉｔａｔｅａｓｍｏｏｔｈ

ｔｒａｎｓｉｔｉｏｎｆｒｏｍａｄａｐｔｉｖｅｏｐｔｉｍｉｚａｔｉｏｎｔｏｓｔｏｃｈａｓｔｉｃｇｒａｄｉｅｎｔｄｅｓｃｅｎｔ(ＳＧＤ).Ｔｏａｖｏｉｄ

ｏｖｅｒｓｈｏｏｔｉｎｇｔｈｅｍｉｎｉｍｕｍｖａｌｕｅａｎｄｒｅｄｕｃｅｏｓｃｉｌｌａｔｉｏｎｓｎｅａｒｔｈｅｍｉｎｉｍｕｍꎬａｆｉｒｓｔｍｏｍｅｎｔ

ｗａｓｉｎｔｒｏｄｕｃｅｄｉｎｔｏｔｈｅｓｅｃｏｎｄｍｏｍｅｎｔｏｆＡｄａｂｏｕｎｄꎬｕｔｉｌｉｚｉｎｇｓｈｏｒｔ￣ｔｅｒｍｐａｒａｍｅｔｅｒｕｐｄａｔｅｓ

ａｓｗｅｉｇｈｔｓｔｏｃｏｎｔｒｏｌｐａｒａｍｅｔｅｒｕｐｄａｔｅｓ.Ｔｏｖａｌｉｄａｔｅｔｈｅａｌｇｏｒｉｔｈｍｓｐｅｒｆｏｒｍａｎｃｅꎬｉｔｓ

ｃｏｎｖｅｒｇｅｎｃｅｐｒｏｐｅｒｔｉｅｓｗｅｒｅｔｈｅｏｒｅｔｉｃａｌｌｙｐｒｏｖｅｄｉｎａｃｏｎｖｅｘｅｎｖｉｒｏｎｍｅｎｔ.Ｉｎａｎｏｎ￣ｃｏｎｖｅｘ