一种带有搜索空间重构机制的可迭代NAS进化控制策略.pdfVIP

一种带有搜索空间重构机制的可迭代NAS进化控制策略1

一种带有搜索空间重构机制的可迭代NAS进化控制策略

1.研究背景与意义

1.1神经架构搜索（NAS）的发展历程

神经架构搜索（NAS）是近年来深度学习领域的重要研究方向之一，其发展历程可

以划分为几个阶段。

•早期探索阶段：2016年之前，NAS的研究处于初步探索阶段。当时的研究主要集

中在手动设计神经网络架构，研究人员凭借经验和直觉来选择合适的网络结构和

超参数。这种方法虽然在一些简单的任务上取得了一定的成果，但在面对复杂的

任务时，往往需要大量的试验和调整，效率较低。

•基于强化学习的NAS阶段：2016年，谷歌大脑团队首次提出了基于强化学习的

NAS方法，开启了NAS研究的新纪元。该方法将NAS问题建模为一个强化学习

问题，通过训练一个控制器来生成神经网络架构，并使用奖励信号来评估架构的

性能。这种方法在一定程度上提高了搜索效率，但仍然存在计算成本高、搜索空

间庞大等问题。

•基于梯度的NAS阶段：2018年，研究者们提出了基于梯度的NAS方法，如

DARTS（DifferentiableArchitectureSearch）。该方法通过引入连续的架构参数，

将离散的架构搜索问题转化为连续的优化问题，从而可以使用梯度下降等优化算

法来高效地搜索架构。这种方法大大降低了搜索成本，使得NAS在大规模数据集

上的应用成为可能。

•高效的NAS方法阶段：2019年至今，NAS研究进入了一个新的阶段，研究者们

致力于开发更加高效的NAS方法。例如，提出了基于权重共享的NAS方法，通

过在搜索过程中共享权重来减少计算量；还有基于元学习的NAS方法，通过学习

如何更好地搜索架构来提高搜索效率。同时，NAS的研究也逐渐从单纯的架构搜

索扩展到架构优化、超参数优化等多个方面，形成了一个更加完整的优化体系。

1.2进化控制策略在NAS中的重要性

进化控制策略在神经架构搜索（NAS）中具有重要的作用，主要体现在以下几个方

面：

•提高搜索效率：进化控制策略通过模拟生物进化的过程，利用自然选择和遗传变

异等机制来优化神经网络架构。与传统的基于随机搜索或穷举搜索的方法相比，

2.搜索空间重构机制2

进化控制策略能够在更短的时间内找到更优的架构。例如，在一些大规模的NAS

实验中，使用进化控制策略可以在几百次迭代中找到接近最优的架构，而传统的

随机搜索方法可能需要数千次甚至上万次迭代才能达到类似的性能。

•增强搜索的鲁棒性：进化控制策略具有很强的鲁棒性，能够适应不同的搜索空间

和任务需求。在NAS中，搜索空间往往非常庞大且复杂，存在许多局部最优解。

进化控制策略通过种群进化和交叉变异等操作，能够有效地避免陷入局部最优解，

从而提高搜索的全局收敛能力。例如，在一些复杂的图像分类任务中，使用进化

控制策略搜索得到的架构在不同的数据集上都表现出良好的泛化性能，而传统的

基于梯度的NAS方法可能会因为过拟合训练数据而导致性能下降。

•降低计算成本：进化控制策略可以通过合理的设计种群规模和进化代数来控制计

算成本。在NAS中，计算成本是一个重要的问题，因为搜索过程需要大量的计算

资源。进化控制策略可以在保证搜索性能的前提下，通过减少不必要的计算来降

低计算成本。例如，通过使用基于代理模型的进化控制策略，可以在不损失太多

搜索精度的情况下，将计算成本降低一个数量级以上。

•促进架构创新：进化控制策略能够生成具有新颖性和多样性的神经网络架构。在

NAS中，架构创新是提高模型性能的关键因素之一。进化控制策略通过模拟生物

进化的多样性，能够探索出一些传统设计方法难以想到的架构。例如，一些使用

进化控制策略搜索得到的架构采用了独特的连接方式和模块结构，这些架构在一