面向大规模搜索空间的参数共享式进化神经架构搜索算法对比研究.pdfVIP

面向大规模搜索空间的参数共享式进化神经架构搜索算法对比研究1

面向大规模搜索空间的参数共享式进化神经架构搜索算法对

比研究

1.研究背景与意义

1.1神经架构搜索的发展历程

神经架构搜索（NAS）作为自动化机器学习的重要分支，其发展历程可追溯至20

世纪末。早期的NAS研究主要集中在手工设计架构上，但随着深度学习的兴起，NAS

逐渐转向自动化设计。2016年，谷歌大脑团队首次提出基于强化学习的NAS方法，开

启了自动化神经架构搜索的新纪元。此后，研究者们不断探索新的搜索策略和算法，如

基于进化算法的NAS和基于贝叶斯优化的NAS等。近年来，随着计算资源的提升和

数据规模的扩大，NAS在图像识别、自然语言处理等领域取得了显著进展。例如，在

ImageNet数据集上，通过NAS设计的网络架构在准确率上超越了传统手工设计的网

络，这充分展示了NAS在提升模型性能方面的巨大潜力。

1.2大规模搜索空间的挑战

随着神经网络架构的复杂度不断增加，搜索空间的规模也呈指数级增长。大规模搜

索空间给NAS带来了诸多挑战：

•计算成本高昂：传统的NAS方法在大规模搜索空间中需要遍历大量的候选架构，

这导致计算资源消耗巨大。例如，基于强化学习的NAS方法在搜索过程中需要训

练大量的子网络，每个子网络的训练都需要耗费大量的计算时间。据估算，在大

规模搜索空间中，一次完整的NAS搜索过程可能需要数千个GPU小时，这对于

大多数研究者和企业来说是难以承受的。

•搜索效率低下：在大规模搜索空间中，如何高效地搜索到最优架构是一个关键问

题。现有的搜索算法在面对大规模搜索空间时，往往会出现搜索效率低下的情况。

例如，进化算法虽然具有全局搜索能力，但在大规模搜索空间中容易陷入局部最

优解，导致搜索过程漫长且难以找到全局最优解。

•架构评估困难：大规模搜索空间中的候选架构数量众多，对每个候选架构进行准

确评估是一个极具挑战性的任务。传统的架构评估方法通常需要对每个候选架构

进行完整的训练，这不仅耗时耗力，而且在大规模搜索空间中难以实现。因此，如

何快速、准确地评估候选架构的性能成为了一个亟待解决的问题。

2.参数共享式进化神经架构搜索算法概述2

•可扩展性问题：随着搜索空间的进一步扩大，现有的NAS方法在可扩展性方面面

临严峻挑战。例如，一些基于贝叶斯优化的NAS方法在处理大规模搜索空间时，

由于其优化过程依赖于对搜索空间的建模，当搜索空间规模过大时，建模过程变

得异常复杂，导致算法难以扩展到更大的搜索空间。

为了解决这些挑战，研究者们开始探索新的NAS方法，其中参数共享式进化神经

架构搜索算法因其在计算效率和搜索效果方面的优势而受到广泛关注。

2.参数共享式进化神经架构搜索算法概述

2.1算法基本原理

参数共享式进化神经架构搜索算法是一种结合了进化算法和参数共享机制的神经

架构搜索方法。进化算法通过模拟生物进化过程，利用种群的概念，通过选择、交叉和

变异等操作来逐步优化神经网络架构。在参数共享式进化神经架构搜索中，种群中的多

个候选架构共享同一组参数，从而大大减少了参数的训练次数和计算资源的消耗。

•参数共享机制：在传统的进化神经架构搜索中，每个候选架构都需要独立训练其

参数，这导致计算成本极高。而参数共享式进化神经架构搜索算法通过让种群中

的多个候选架构共享同一组参数，只需对这组参数进行一次训练，然后根据不同

的架构对共享参数进行评估，从而显著降低了计算成本。例如，在一个包含100

个候选架构的种群中，传统方法需要对每个架构分别训练参数，而参数共享式方

法只需训练一次参数，计算成本降低了近100倍。

•进化算法流程：进化算法的基本流程包括初始化种群、评估适应度、选择、交叉和

变异。在参数共享式进化神经架构搜索中，种群初始化时生成多个候选架构，这

些架构共享同一组参数。适应度评