面向大规模分布式训练的元学习超参数调优算法框架及通信协议优化.docxVIP

面向大规模分布式训练的元学习超参数调优算法框架及通信协议优化

摘要

大规模分布式深度学习训练场景下，超参数搜索空间庞大、训练开销极高、多机多卡间通信时延抖动显著，传统网格搜索、随机搜索、贝叶斯调参存在搜索效率低、无法跨任务迁移、通信开销与调参耦合等痛点。本文提出一套基于元学习的分布式超参数调优框架，配套面向调参协同的轻量化通信协议优化方案；利用元学习从历史调参任务中习得先验搜索策略，在新任务上快速收敛至优质超参数组合；同时针对调参主从架构、参数评估阶段的同步阻塞、冗余报文、心跳风暴问题，设计分层异步通信协议，降低调参过程附加通信成本，在大模型分布式训练集群上实现更少评估轮次、更低通信开销、更快找到最优超参的目标。

关键词：分布式训练；元学习；超参数优化；贝叶斯优化；通信协议；大规模集群；异步调参

一、研究背景与问题分析

1.1背景

大模型、CV多任务、推荐模型普遍采用数据并行/模型并行流水线分布式训练，超参数（学习率、权重衰减、batchsize、动量、warmup步数、优化器超参、梯度裁剪阈值等）直接影响收敛速度、最终精度、训练稳定性。

传统方案：随机搜索、网格搜索、传统贝叶斯优化BO、Hyperband。

局限：

1）无迁移能力：每个新任务从头搜索，不复用过往任务调参经验；

2）评估昂贵：一组超参评估需要启动一轮分布式训练，算力消耗巨大；

3）调参与分布式通信强耦合：调参