新型 NIRMAL 优化器与 ADAM 和 SGD 带动量的比较分析.pdfVIP

新型NIRMAL优化器与ADAM和SGD带动量的比较分析

NirmalGaudSurejMouli

CEOandMasterTrainerLecturer

ThinkAI-AMachineLearningCommunityAstonUniversity,Birmingham,UK

nirmal.gaud.ai@surej@live.co.uk

PreetiKatiyarVaduguruVenkataRamya

AssistantProfessorTeachingAssistant

DelhiTechnicalCampusGreaterNoidaSriBalajiUniversityPune,India

本katiyar.preeti29@ramyavvphd@

译

中

1ABSTRACT

v

3本研究提出了NIRMAL（NovelIntegratedRobustMulti-AdaptationLearning，新型集成鲁棒多

9适应学习）这一优化算法，该算法结合了受到棋子移动启发的多种策略。这些策略包括梯度

2

4下降、动量、随机扰动、自适应学习率和非线性变换。我们仔细评估了NIRMAL与两种广泛

0使用且成功的优化器Adam和带有动量的SGD在四个基准图像分类数据集上的表现，这四

.

8个数据集分别是：MNIST、FashionMNIST、CIFAR-10和CIFAR-100。自定义卷积神经网络

0（CNN）架构应用于每个数据集。实验结果显示NIRMAL达到了具有竞争力的表现，特别是

5

2在更具挑战性的CIFAR-100数据集上，其测试准确率为45.32%，加权F1得分为0.4328。这

:一表现超过了Adam（41.79%准确率，0.3964F1得分）且接近带有动量的SGD（46.97%准确

v

i率，0.4531F1得分）。此外，NIRMAL表现出稳健的收敛性和强大的泛化能力，尤其是在复

x

r杂数据集上，如损失和准确性曲线所示训练结果稳定。这些发现强调了NIRMAL作为适用

a

于各种深度学习任务的多功能且有效的优化器的重要能力。

Keywords尼玛腺胺带动量的SGD

1介绍

深度学习模型高度依赖高效的优化算法来最小化损失并提高泛化得分。在执行复杂任务（如图像分类）时，这

一点尤为重要。虽然带有动量的随机梯度下降（SGD）和Adam是领域内广泛使用的根本性优化器，但它们可

能会遇到诸如收敛速度慢或对超参数调整高度敏感等问题[KingmaandBa,2015,Liuetal.,2020,Acharyaetal.,

2015]。为了解决这些问题并探索新型优化算法，我们提出了NIRMAL（NovelIntegratedRobustMulti-Adaptation

Learning），这是一种混合优化器，战略性地结合了多种不同的优化策略，概念上受到了象棋中不同棋子移动

方式的启发。

本文全面比较了NIRMAL与著名的Adam和SGD带动量优化器的分析。为此，我们使用了四个著