CN119557113A 用于异构设备的深度学习大模型训练方法及系统 （山东省计算中心（国家超级计算济南中心））.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119557113A

(43)申请公布日2025.03.04

(21)申请号202510131779.9

(22)申请日2025.02.06

(71)申请人山东省计算中心（国家超级计算济南中心）

地址250000山东省济南市历下区科院路

19号

申请人齐鲁工业大学（山东省科学院）

(72)发明人赵志刚刘福来李传涛肖连辉王春晓李响李锦涛王雨欣

(74)专利代理机构济南圣达知识产权代理有限

公司37221

专利代理师黄海丽

(51)Int.Cl.

G06F9/50(2006.01)

G06N3/08(2023.01)

G06N3/084(2023.01)

权利要求书2页说明书11页附图6页

(54)发明名称

用于异构设备的深度学习大模型训练方法

及系统

(57)摘要

CN119557113A本发明提供了一种用于异构设备的深度学习大模型训练方法及系统，其属于模型训练技术领域，为了解决传统方案在深度学习大模型的训练时，无法对异构GPU集群进行有效利用的问题，所述方案基于提出的虚拟设备概念，通过将待训练的深度学习大模型的不同网络层划分为若干阶段，每个阶段所有网络层的前向传播和反向传播计算均由独立的虚拟设备执行，同时，结合提出的混合并行