CN119558386A 一种分布式模型训练优化方法、系统、介质及产品 （四川边缘算力科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119558386A

(43)申请公布日2025.03.04

(21)申请号202510131683.2

(22)申请日2025.02.06

(71)申请人四川边缘算力科技有限公司

地址610000四川省成都市中国（四川）自

由贸易试验区成都高新区府城大道西

段399号10栋16层1607号

(72)发明人贺强

(74)专利代理机构成都维企专利代理有限公司51345

专利代理师董德

(51)Int.Cl.

G06N3/098(2023.01)

G06N3/084(2023.01)

权利要求书2页说明书13页附图4页

(54)发明名称

一种分布式模型训练优化方法、系统、介质

及产品

(57)摘要

CN119558386A一种分布式模型训练优化方法、系统、介质及产品，涉及模型训练领域，通过采用上述技术方案，训练优化系统将终端设备划分为多个设备组并在每个设备组中设置中继节点，在满足预设同步条件时不再需要一一发送至终端设备，只需发送至中继节点即可，实现了模型参数的分级传输。在计算出参数差值后，训练优化系统筛选待更新参数，同时根据待更新参数的同步频率，确定高频同步参数集合和低频同步参数集合，以在不同时刻发送不同待更新参数，这种差异化的参数同步策略，既保证了重要参数的及时更新，又避