面向大规模异构计算平台的MiniGo高效训练方法.pdfVIP

第４６卷第５期国防科技大学学报Ｖｏｌ．４６Ｎｏ．５

２０２４年１０月ＪＯＵＲＮＡＬＯＦＮＡＴＩＯＮＡＬＵＮＩＶＥＲＳＩＴＹＯＦＤＥＦＥＮＳＥＴＥＣＨＮＯＬＯＧＹＯｃｔ．２０２４

ｄｏｉ：１０．１１８８７／ｊ．ｃｎ．２０２４０５０２２ｈｔｔｐ：／／ｊｏｕｒｎａｌ．ｎｕｄｔ．ｅｄｕ．ｃｎ

面向大规模异构计算平台的ＭｉｎｉＧｏ高效训练方法

李荣春，贺周雨，乔鹏，姜晶菲，窦勇，李东升

（国防科技大学并行与分布计算全国重点实验室，湖南长沙４１００７３）

摘要：提出一种适用于大规模异构计算平台训练ＭｉｎｉＧｏ智能体的高效多级并行训练方法，包括节点间

任务级并行、中央处理器－数字信号处理器（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓｏｒ，ＣＰＵＤＳＰ）异构并

行、ＤＳＰ核内并行。实现了高效的输入／输出部署，消除网络通信瓶颈。提出了面向ＣＰＵＤＳＰ共享内存结构

的异构计算内存管理，减少异构设备间的数据搬运。实现了共享内存编程优化，并利用ＤＳＰ实现密集卷积计

算算子加速优化。结果表明，与１６核ＣＰＵ计算相比，单核ＤＳＰ算子加速最大加速比达１６４４；该方法实现计

算节点规模从１０６７扩展至４１３９，得到达到给定终止条件所需时间从４３０２ｈ降至１６０５ｈ，可扩展效率为

６９１％。评估表明，该方法能够实现ＭｉｎｉＧｏ在大规模异构计算平台的高效并行训练。

关键词：ＭｉｎｉＧｏ；大规模异构计算平台；数字信号处理器

中图分类号：ＴＰ３９文献标志码：Ａ文章编号：１００１－２４８６（２０２４）０５－２０９－１０

ＨｉｇｈｅｆｆｉｃｉｅｎｔｔｒａｉｎｉｎｇｍｅｔｈｏｄｏｆＭｉｎｉＧｏｏｎｌａｒｇｅｓｃａｌｅ

ｈｅｔｅｒｏｇｅｎｅｏｕｓｃｏｍｐｕｔｉｎｇｐｌａｔｆｏｒｍ



ＬＩＲｏｎｇｃｈｕｎ，ＨＥＺｈｏｕｙｕ，ＱＩＡＯＰｅｎｇ，ＪＩＡＮＧＪｉｎｇｆｅｉ，ＤＯＵＹｏｎｇ，ＬＩＤｏｎｇｓｈｅｎｇ

（ＮａｔｉｏｎａｌＫｅｙＬａｂｏｒａｔｏｒｙｏｆＰａｒａｌｌｅｌａｎｄＤｉｓｔｒｉｂｕｔｅｄＣｏｍｐｕｔｉｎｇ，ＮａｔｉｏｎａｌＵｎｉｖｅｒｓｉｔｙｏｆＤｅｆｅｎｓｅＴｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｓｈａ４１００７３，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：ＡｎｅｆｆｉｃｉｅｎｔｍｕｌｔｉｌｅｖｅｌｐａｒａｌｌｅｌｔｒａｉｎｉｎｇｍｅｔｈｏｄｓｕｉｔａｂｌｅｆｏｒｔｒａｉｎｉｎｇＭｉｎｉＧｏａｇｅｎｔｓｏｎｌａｒｇｅｓｃａｌｅｈｅｔｅｒｏｇｅｎｅｏｕｓｃｏｍｐｕｔｉｎｇ

ｐｌａｔｆｏｒｍｓｗａｓｐｒｏｐｏｓｅｄ，ｉｎｃｌｕｄｉｎｇｔａｓｋｌｅｖｅｌｐａｒａｌｌｅｌｉｓｍｂｅｔｗｅｅｎｎｏｄｅｓ，ＣＰＵＤＳＰ（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓ）ｈｅｔｅｒｏｇｅｎｅｏｕｓ

ｐａｒａｌｌｅｌｉｓｍａｎｄＤＳＰｃｏｒｅｐａｒａｌｌｅｌｉｓｍ．Ｅｆｆｉｃｉｅｎｔｉｎｐｕｔ／ｏｕｔｐｕｔｄｅｐｌｏｙｍｅｎｔａｎｄｅｌｉｍｉｎａｔｅｄｔｈｅｂｏｔｔｌｅｎｅｃｋｏｆｎｅｔｗｏｒｋｃｏｍｍｕｎｉｃａｔｉｏｎｗｅｒｅｒｅａｌｉｚｅｄ．Ａ

ｈｅｔｅｒｏｇｅｎｅｏｕｓｃｏｍｐｕｔｉｎｇｍｅｍｏｒｙｍａｎａｇｅｍｅｎｔｏｒｉｅｎｔｅｄｔｏＣＰＵＤＳＰｓｈａｒｅｄｍｅｍｏｒｙｓｔｒｕｃｔｕｒｅｗａｓｐｒｏｐｏｓｅｄｔｏｒｅｄｕｃｅｔｈｅｄａｔａｈａｎｄｌｉｎｇｂｅｔｗｅｅｎ

ｈｅｔｅｒｏｇｅｎｅｏｕｓｄｅｖｉｃｅｓ．Ｓｈａｒｅｄｍｅｍｏｒｙｐｒｏｇｒａｍｍｉｎｇｏｐｔｉｍｉｚａｔｉｏｎｗａｓｒｅａｌｉｚｅｄ，ａｎｄｔｈｅｄｅｎｓｅｃｏｎｖｏｌｕｔｉｏｎｃａｌｃｕｌａｔｉｏｎｏｐｅｒａｔｏｒａｃｃｅｌｅｒａｔｉｏｎ

ｏｐｔｉｍｉｚａｔｉｏｎｗａｓｒｅａｌｉ