神经网络架构搜索NAS技术进展综述.docxVIP

神经网络架构搜索NAS技术进展综述

1.引言

随着深度学习在各类复杂任务中的广泛应用，模型的性能不断提升。然而设计高性能网络架构的专家经验为主、试验次数多、效率低下的问题日益凸显。NeuralArchitectureSearch(NAS)技术应运而生，旨在自动发现最优或高性能神经网络架构，实现“自动设计深度学习模型”的目标。

本文将系统梳理NAS领域的关键技术发展脉络，从核心原理、代表性算法、评估方法到最新突破与挑战，全面剖析这一快速发展的研究领域，展望其未来发展方向，为深入理解NAS技术提供参考。

2.核心技术原理

NAS技术的核心思想是将网络架构设计从经验驱动转变为数据驱动和计算驱动的过程。它通过搜索空间定义可能的网络结构候选，然后利用特定算法搜索最优结构。早期方法如神经进化(NEAT)和强化学习(RLSearchn)，通过进化或强化学习机制迭代优化网络结构，但计算成本极高。

现代NAS主要基于基于梯度的搜索思想，其基本流程包括：

定义一个搜索空间，通常由可选择的运算模块组成，如MobileNet系列设计中的倒残差块、EfficientNet中的复合缩放方法等

利用神经网络参数空间搜索代理模型来预测网络性能

使用梯度下降方法优化搜索空间参数，找到性能最优的架构

2.1代表性基础方法

BlkNAS：开创性工作，将网络构建转化为图搜索问题，首次实现GPU加速的结构搜索