基于Pareto最优解集的神经架构搜索框架构建与多目标优化耦合机制.pdfVIP

基于PARETO最优解集的神经架构搜索框架构建与多目标优化耦合机制1

基于Pareto最优解集的神经架构搜索框架构建与多目标优

化耦合机制

1.研究背景与意义

1.1神经架构搜索的发展历程

神经架构搜索（NeuralArchitectureSearch，NAS）是近年来深度学习领域的重要

研究方向之一。其发展历程可以分为以下几个阶段：

•早期的启发式方法阶段：在NAS出现之前，神经网络架构主要依靠人工设计。研

究人员凭借经验和直觉来选择网络层数、层类型、连接方式等。这种方法虽然在

一些简单任务上取得了不错的效果，但随着任务复杂度的增加，人工设计的局限

性逐渐显现。例如，在图像识别任务中，随着数据集规模的扩大和图像分辨率的

提高，人工设计的网络架构难以适应复杂多变的图像特征，导致模型性能提升缓

慢。这种背景下，启发式方法开始被尝试用于网络架构设计。例如，遗传算法等启

发式算法被引入，通过模拟生物进化过程，对网络架构进行迭代优化。然而，这

些方法存在搜索空间有限、优化效率低，等问题难以在大规模数据集和复杂任务

上取得突破。

•基于强化学习的NAS阶段：2016年左右，基于强化学习的NAS方法开始兴起。

该方法将神经架构搜索问题建模为一个强化学习任务，控制器（通常是一个循环

神经网络）负责生成网络架构，而奖励函数则根据生成架构的性能来指导控制器

的学习。例如，谷歌的NASNet就是基于强化学习的NAS方法的代表。它通过

强化学习控制器在大规模图像数据集上搜索最优的卷积神经网络架构，取得了显

著的性能提升。然而，基于强化学习的NAS方法存在计算成本高昂的问题。由于

需要训练控制器和评估大量候选架构，其计算资源消耗巨大。例如，NASNet的

训练过程需要数千个GPU小时，这使得该方法难以在资源受限的环境中应用。

•基于神经预测器的NAS阶段：了解为决基于强化学习的NAS方法计算成本高

的问题，研究者们开始探索基于神经预测器的NAS方法。该方法通过训练一个

神经网络预测器来预测候选架构的性能，从而减少对实际训练和评估的依赖。例

如，ENAS（EfficientNeuralArchitectureSearch）通过共享权重的方式，使得候

选架构之间的权重可以相互迁移，大大减少了训练成本。ENAS在图像分类任务

上取得了与NASNet相当的性能，但训练时间大幅缩短。然而，基于神经预测器

的NAS方法在搜索精度和泛化能力上仍存在挑战。例如，在不同数据集或任务类

型下，预测器的准确性可能会下降，导致搜索到的架构性能不稳定。

1.研究背景与意义2

•基于梯度的NAS阶段：近年来，基于梯度的NAS方法逐渐成为研究热点。该方

法将网络架构参数化，并通过梯度下降的方式直接优化架构参数。例如，DARTS

（DifferentiableArchitectureSearch）通过将离散的架构搜索问题松弛为连续的优

化问题，利用梯度信息来更新架构参数，从而实现了高效的架构搜索。DARTS在

多个基准数据集上取得了优异的性能，并且搜索效率之前的比NAS方法有了显

著提升。然而，基于梯度的NAS方法也存在一些问题，如超参数敏感、搜索到的

架构可能存在退化现象等。例如，当学习率设置不合理时，可能会导致搜索过程

不稳定，甚至无法收敛到有效的架构。

1.2多目标优化在神经架构搜索中的重要性

在神经架构搜索中，多目标优化具有至关重要的作用，主要体现在以下几个方面：

•性能与效率的平衡：在实际应用中，神经网络不仅需要具备高准确率，还需要在

计算效率、存储成本等方面满足特定。要求例如，在移动设备上部署神经网络时，

由于设备的计算能力和存储空间有限，需要在保证模型性能的前提下，尽可能降

低模型的计算复杂度