《分布式深度学习超参数优化工作的文献综述》4700字.docxVIP

分布式深度学习超参数优化工作的文献综述

1.1超参数优化工作概述

在深度学习模型训练过程中，一组好的超参数配置会令深度学习性能有着极大的提升，自动超参数优化对于机器学习模型本身非常重要。在训练神经网络时，调节超参数必不可少，这个过程可以更科学地训练出更高效的机器学习模型。超参数优化或模型选择是为学习算法选择一组最优超参数时的问题，通常目的是优化算法在独立数据集上的性能的度量[21]。在超参数优化工作方面，文献[22]提出了利用RPR-BP的超参优化算法对模型的最大深度，学习率等超参数进行调整，提高了模型的准确率。文献[23]通过对模型的训练轮次，激活函数，卷积核大小等超参数优化，大大提高了ResNet的分类准确率并且减少了计算时间。文献[24]提出的贝叶斯优化算法是一种较为典型的基于序贯模型超参数优化的算法，采用高斯过程模型(GaussianProcesses)作为目标函数的代理函数，通过不断选取表现最佳的超参数，在真实模型上进行评估，最终完成超参数的选取，但这种方式会浪费大量的时间。网格搜索(GridSearch)是比较常用的超参数优化方法，这仅仅是通过学习算法的超参数空间的手动指定子集的详尽搜索。由于机器学习的参数空间可能包括某些参数的实值或无界值空间，因此在应用网格搜索策略之前可能需要对超参数进行手动设置边界和离散化操作。由于网格搜索的种时间代价比较高，所以基于网格搜索