基于可微分架构搜索的神经网络设计研究综述.docVIP

基于可微分架构搜索的神经网络设计研究综述

一、可微分架构搜索的核心原理与基础框架

可微分架构搜索（DifferentiableArchitectureSearch,DARTS）的核心突破在于将传统离散空间下的架构搜索问题转化为连续空间的梯度优化问题，彻底打破了强化学习、进化算法等黑盒搜索范式的效率瓶颈。其基础框架构建在“超网”（Supernet）概念之上：预先定义包含所有候选操作的有向无环计算图，每一条边对应一组候选操作（如3×3卷积、5×5可分离卷积、最大池化等），每条边的输出为所有候选操作的加权和，权重由可学习的架构参数α控制。在训练阶段，模型同时优化两类参数：一类是网络内部的权重参数ω，另一类是代表架构选择的架构参数α，通过双层优化机制交替更新两类参数，最终对每条边选择权重最大的操作，剪去权重趋近于0的边，得到离散化的最优子网络。

梯度下降的引入将传统架构搜索的搜索成本从数千GPU小时压缩至单个GPU数小时，这一效率跃升让神经网络架构设计从少数专业团队的“定制化工程”转向可规模化落地的普惠技术。但早期DARTS存在明显的性能坍塌问题：当搜索轮次增加时，模型倾向于选择跳接（SkipConnection）等无参数操作，导致最终架构表征能力不足。后续研究从正则化机制、优化目标改进、搜索空间约束三个方向对基础框架进行修正：正则化层面引入操作dropout、路径正则化等策略，抑