基于精英保留策略的神经网络结构搜索.docxVIP

基于精英保留策略的神经网络结构搜索

基于精英保留策略的神经网络结构搜索

神经网络结构搜索作为自动化机器学习的重要分支，近年来在降低人工设计成本、提升模型性能上限方面展现出巨大潜力。传统搜索方法在复杂搜索空间中容易陷入局部最优，导致所得网络结构泛化能力不足。将精英保留策略引入神经网络结构搜索，可以在探索新结构与利用已有优质结构之间建立更稳定平衡。该思路不依赖人工先验堆叠模块，而是通过可演化、可比较、可继承的方式，让搜索过程不断积累高质量结构经验。随着搜索空间从离散层类型扩展到连接拓扑、通道配置、注意力机制和硬件部署约束，单纯随机搜索或朴素强化学习已难以兼顾效率与质量。精英保留策略通过对历