深度学习中优化算法的选择和评价.pdf

深度学习中优化算法的选择和评价

摘要

深度学习中优化算法可以显著影响基于神经网络的深度学习模型的效果,因此逐渐成

为目前各大人工智能顶级会议的研究热点之一。本论文以随机梯度下降、Adagrad和Adam

为例探讨深度学习领域中的优化算法,并通过消耗时间与迭代步数进行选择和评价。结果

明,对于本文中简单的线性模型来说,SGD算法比较合适,若考虑到学习率方面,Adam

算法比较优秀。对于复杂模型(如LeNet模型),Adam算法的优势明显大于其他两种算法。

每种优

文档评论(0)

1亿VIP精品文档

相关文档