深度学习中优化算法的选择和评价.docxVIP

PAGEVI

深度学习中优化算法的选择和评价

摘要

深度学习中优化算法可以显著影响基于神经网络的深度学习模型的效果，因此逐渐成为目前各大人工智能顶级会议的研究热点之一。本论文以随机梯度下降、Adagrad和Adam为例探讨深度学习领域中的优化算法，并通过消耗时间与迭代步数进行选择和评价。结果表明，对于本文中简单的线性模型来说，SGD算法比较合适，若考虑到学习率方面，Adam算法比较优秀。对于复杂模型（如LeNet模型），Adam算法的优势明显大于其他两种算法。每种优化算法都存在自身的缺陷，需要衡量利弊，根据问题的特性和结构来匹配合适的优化算法。

关键词深度学习