基于进化策略的神经网络架构搜索研究综述.docVIP

基于进化策略的神经网络架构搜索研究综述

一、进化策略与神经网络架构搜索的基础契合性

神经网络架构搜索（NeuralArchitectureSearch,NAS）的核心目标是在庞大的离散架构空间中自动搜索出性能优于人工设计的网络结构，其本质是高维、非凸、多目标的黑盒优化问题。进化策略（EvolutionStrategy,ES）作为一类基于种群迭代的随机优化算法，天然具备处理离散空间搜索、无梯度优化、多目标权衡的能力，二者的契合性体现在三个核心层面：

（一）搜索空间的适配性

NAS的搜索空间通常包含节点选择、连接方式、操作类型（卷积、池化、激活函数等）、超参数（卷积核大小、通道数、层数）等离散决策变量，传统梯度-basedNAS方法需要将离散空间连续化，容易引入表示误差，且难以处理非可微的架构约束（如硬件延迟、参数量上限）。进化策略无需假设搜索空间可微，通过种群个体的编码直接表示完整网络架构，可原生支持任意离散、混合类型的搜索空间设计。以常见的链式架构搜索为例，每个个体可编码为长度为L的序列，每个位置对应网络层的操作类型和参数，编码空间与架构空间一一对应，无需额外的转换操作。

（二）优化目标的兼容性

NAS任务通常需要同时兼顾多个冲突目标：分类准确率、推理速度、参数量、内存占用、能耗等。进化策略的种群迭代特性天然支持多目标优化，通过帕累托占优排序、多目标适应度函数设计，可在