基于自适应分层梯度压缩的分布式训练通信优化方法.pdfVIP

第４３卷第１期湖北民族大学学报(自然科学版)Ｖｏｌ.４３Ｎｏ.１

２０２５年３月ＪｏｕｒｎａｌｏｆＨｕｂｅｉＭｉｎｚｕＵｎｉｖｅｒｓｉｔｙ(ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ)Ｍａｒ.２０２５

－－－－

文章编号:２０９６７５９４(２０２５)０１００３４０７ＤＯＩ:１０.１３５０１/ｊ.ｃｎｋｉ.４２１９０８/ｎ.２０２５.０３.００５

基于自适应分层梯度压缩的分布式训练通信优化方法

王晓晓ꎬ朱晓娟∗

(安徽理工大学计算机科学与工程学院ꎬ安徽淮南２３２００１)

摘要:针对分布式机器学习场景中ꎬ多个计算节点和参数服务器节点之间频繁传输参数和梯度导致通信开销较大、

模型训练效率较低的问题ꎬ提出基于自适应分层梯度压缩(ａｄａｐｔｉｖｅｌａｙｅｒｅｄｇｒａｄｉｅｎｔｃｏｍｐｒｅｓｓｉｏｎꎬＡＬＧＣ)的通信优化方

法ꎮ首先ꎬ为每层神经网络设置１个合适的压缩阈值ꎬ选择性地压缩大于该阈值的层ꎻ其次ꎬ为被选择压缩的每层单

独设定稀疏阈值ꎬ并动态调整该阈值ꎬ实现对每层梯度传输的自适应压缩ꎻ最后ꎬ将计算与通信重叠ꎬ利用参数服务

器汇总每层的梯度和梯度残差完成对全局模型的更新ꎮ结果表明ꎬＡＬＧＣ方法的训练准确率最高可达９５.０７％ꎬ并且

实现了最短收敛时间和最大加速比ꎮＡＬＧＣ方法在保证模型训练准确率的同时ꎬ对于提升模型训练速度和降低通信

开销具有重要作用ꎮ

关键词:分布式机器学习ꎻ梯度压缩ꎻ参数服务器ꎻ稀疏化ꎻ通信优化

中图分类号:ＴＰ１８３文献标志码:Ａ

引用格式:王晓晓ꎬ朱晓娟.基于自适应分层梯度压缩的分布式训练通信优化方法[Ｊ].湖北民族大学学报(自然科学

－

版)ꎬ２０２５ꎬ４３(１):３４４０.

ＤｉｓｔｒｉｂｕｔｅｄＴｒａｉｎｉｎｇＣｏｍｍｕｎｉｃａｔｉｏｎＯｐｔｉｍｉｚａｔｉｏｎＭｅｔｈｏｄＢａｓｅｄ

ｏｎＡｄａｐｔｉｖｅＨｉｅｒａｒｃｈｉｃａｌＧｒａｄｉｅｎｔＣｏｍｐｒｅｓｓｉｏｎ

ＷＡＮＧＸｉａｏｘｉａｏꎬＺＨＵＸｉａｏｊｕａｎ∗

(ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇꎬＡｎｈｕｉＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅ＆ＴｅｃｈｎｏｌｏｇｙꎬＨｕａｉｎａｎ２３２００１ꎬＣｈｉｎａ)

Ａｂｓｔｒａｃｔ:Ｔｏａｄｄｒｅｓｓｔｈｅｉｓｓｕｅｓｉｎｔｈｅｃｏｎｔｅｘｔｏｆｄｉｓｔｒｉｂｕｔｅｄｍａｃｈｉｎｅｌｅａｒｎｉｎｇｏｆｈｉｇｈｃｏｍｍｕｎｉｃａｔｉｏｎｏｖｅｒｈｅａｄａｎｄｌｏｗｍｏｄｅｌ

ｔｒａｉｎｉｎｇｅｆｆｉｃｉｅｎｃｙｃａｕｓｅｄｂｙｆｒｅｑｕｅｎｔｔｒａｎｓｍｉｓｓｉｏｎｏｆｐａｒａｍｅｔｅｒｓａｎｄｇｒａｄｉｅｎｔｓｂｅｔｗｅｅｎｍｕｌｔｉｐｌｅｃｏｍｐｕｔｉｎｇｎｏｄｅｓａｎｄ

ｐａｒａｍｅｔｅｒｓｅｒｖｅｒｎｏｄｅｓꎬａｃｏｍｍｕｎｉｃａｔｉｏｎｏｐｔｉｍｉｚａｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎａｄａｐｔｉｖｅｌａｙｅｒｅｄｇｒａｄｉｅｎｔｃｏｍｐｒｅｓｓｉｏｎ(ＡＬＧＣ)ｗａｓ

ｐｒｏｐｏｓｅｄ.Ｆｉｒｓｔｌｙꎬａｎａｐｐｒｏｐｒｉａｔｅｃｏｍｐｒｅｓｓｉｏｎｔｈｒｅｓｈｏｌｄｗａｓｓｅｔｆｏｒｅａｃｈｌａｙｅｒｏｆｔｈｅｎｅｕｒａｌｎｅｔｗｏｒｋꎬａｎｄｌａｙｅｒｓｅｘｃｅｅｄｉｎｇｔｈｉｓ

ｔｈｒｅｓｈｏｌｄｗｅｒｅｓｅｌｅｃｔｉｖｅｌｙｃｏｍｐｒｅｓｓｅｄ.Ｓｅｃｏｎｄｌｙꎬａｓｐａｒｓｅｔｈｒｅｓｈｏｌｄｗａｓ