CN119759554A 跨数据中心的分布式训练方法、装置及计算机程序产品 （北京百度网讯科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119759554A

(43)申请公布日2025.04.04

(21)申请号202411813805.8

(22)申请日2024.12.10

(71)申请人北京百度网讯科技有限公司

地址100085北京市海淀区上地十街10号

百度大厦2层

(72)发明人苏泽伟朱宸牛立新李虎周辉

(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204

专利代理师王达佐王艳春

(51)Int.Cl.

G06F9/50(2006.01)

G06N3/0455(2023.01)

G06N3/098(2023.01)

权利要求书4页说明书16页附图7页

(54)发明名称

跨数据中心的分布式训练方法、装置及计算

机程序产品

(57)摘要

CN119759554A本公开提供了一种跨数据中心的分布式训练方法、装置、电子设备、存储介质及计算机程序产品，涉及人工智能技术领域，具体涉及分布式训练、大模型等技术领域，可应用于分布式训练场景下。具体实现方案为：对于多个并行计算策略中的每个并行计算策略，根据并行计算策略对应的分组规模，对多个数据中心中的计算单元进行分组，得到并行计算策略对应的单元组；根据多个并行计算策略各自产生的通信数据对于通信延迟时长的敏感性，从多个并