CN119938327A 一种可用于异构集群的大模型自适应并行训练方法 （炜烨智算(北京)科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119938327A

(43)申请公布日2025.05.06

(21)申请号202510021206.0

(22)申请日2025.01.07

(71)申请人炜烨智算（北京）科技有限公司

地址100080北京市海淀区上地信息路26

号5层501室

(72)发明人黄振宇

(74)专利代理机构杭州山泰专利代理事务所(普通合伙)33438

专利代理师韩斐

(51)Int.Cl.

G06F9/50(2006.01)

权利要求书3页说明书9页附图1页

(54)发明名称

一种可用于异构集群的大模型自适应并行

训练方法

(57)摘要

CN119938327A本发明公开了一种可用于异构集群的大模型自适应并行训练方法，涉及并行计算技术领域，本技术方案解决了资源利用不均和效率低下的问题；通过动态计算数据并行值和张量并行配置，自动调整模型层与硬件的分配，优化设备间性能匹配和协同工作，提高资源利用率并消除性能瓶颈；同时，该方法通过实时监测和动态调整存储需求匹配指数Cpp和处理时长Csc，最优化利用每个设备的显存和计算能力，解决显存空间限制问题；此外，本方案还包括持续监测实时性能数据并动态调整流水线并行中的参数，如数据传输速度和计算任务重新分配，提高了训练的灵活性和效率，确保并行训练配置始终适应当前