面向深度学习的随机梯度优化算法研究.pdfVIP

摘要 摘 要 深度学习已经成为人工智能领域内的一种重要技术，并且成功应用于计算机 视觉、自动驾驶、物联网、智能机器人等关键领域。在深度学习中，深度模型的 训练过程是一个重要任务，该过程可以看成一个优化问题。所以，很多优化算法 被应用于模型训练任务中。其中，随机梯度优化算法是一种广泛应用于深度模型 训练的算法。但是随机梯度优化算法的收敛速度缓慢，为了克服这一问题，很多 学习率自适应的优化算法被提出，这些自适应优化算法显著的加快了收敛速度。 然而，当前日益复杂的应用环境给深度学习带来了高维、海量的数据，这使得深 度模型的训练任务更加困难。因此，应用于深度模型训练的优化算法应该具有易 于实现、收敛速度快、计算成本低等特点。 目前，易于实现且收敛速度快的优化算法大部分是基于随机梯度的自适应优 化算法。然而，这些优化算法在处理深度学习的训练任务时，存在两个导致计算 成本过高的因素：1 这些优化算法每次迭代时都会计算决策变量的全坐标梯度， 因此在模型训练过程中产生了高昂的计算成本；2 深度模型的训练往往是一个 受限优化问题，而随机梯度自适应优化算法在处理它们时都会计算高阶的投影距 离 （投影算子），所以投影算子给训练过程带来了巨大的计算成本。为了解决以 上两个问题，从而减少深度模型训练的计算成本，本文将完成以下研究内容： (1) 针对一种流行的自适应随机梯度算法 （称为 Adam 算法）的全坐标梯度 计算问题，提出了一种随机坐标块 Adam 算法，该算法利用随机坐标块方法减少 了大量的计算成本。通过理论分析证明了该算法是收敛的，且具有 的后悔 界 （其中 为迭代次数，下同），并利用在公开数据集上进行的仿真实验验证了 理论分析的结果。 (2) 针对一种具有动态学习率的自适应随机梯度算法 （称为 AdaBound 算法） 的全坐标梯度计算问题，提出了一种随机坐标块 AdaBound 算法，该算法利用随 机坐标块方法减少了每次迭代的计算成本。通过理论证明分析了该算法的收敛性， 且得到其后悔界为 ，并通过仿真实验验证了收敛性证明的结果。 (3) 针对随机梯度优化算法在深度模型训练过程中产生的投影算子问题，提 出了一种无投影 Adam 算法，该算法利用 Frank-Wolfe 方法将高阶的投影距离计 算替换成一维线性搜索，从而避免了成本高昂的投影算子。通过理论证明分析了 该算法的收敛性，且得出其后悔界为 ，并利用公开数据集上的仿真实验 验证了证明结果。 (4) 针对随机梯度优化算法的全坐标计算和投影算子问题，提出了一种无投 I 摘要 影随机坐标块算法，该算法成功应用于分布式深度学习中的子模最大化问题，利 用随机坐标块方法和 Frank-Wolfe 方法避免了决策变量的全梯度计算和投影算子， 从而很大程度的减少了计算成本。通过理论分析证明了该算法的收敛性，并得出 其能在有限的 次迭代内得到紧近似值 ，且利用公开数据集 上进行的仿真实验验证了证明结果。 本文主要研究深度学习中随机梯度优化理论。针对深度模型训练过程中的高 昂计算成本问题，利用随机坐标块方法和 Frank-Wolfe 方法避免了大量的计算成 本，提出了四种不同的随机梯度自适应优化算法，且均在理论上进行了证明，并 在主流的公开数据集上取得了良好性能。 关 键 词：深度学习；优化算法；凸优化；在线优化；随机梯度 论文类型：基础研究 选题来源：国家自然科学基金项目 II