CN119597469A 资源受限的大模型异构训练方法、计算机设备和存储介质 （杭州高新区(滨江)区块链与数据安全研究院）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119597469A

(43)申请公布日2025.03.11

(21)申请号202411656715.2

(22)申请日2024.11.19

(71)申请人杭州高新区（滨江）区块链与数据安全研究院

地址310051浙江省杭州市滨江区物联网

孵化器大楼2号楼A楼4-7层申请人浙江大学

(72)发明人汪懿桢汪睿伍赛袁巩生

姚畅唐秀杨智慧

(74)专利代理机构华进联合专利商标代理有限

公司44224

专利代理师陈佳美

(51)Int.Cl.

G06F9/50(2006.01)

G06N3/084(2023.01)

G06T1/20(2006.01)

G06N3/0499(2023.01)

权利要求书2页说明书15页附图7页

(54)发明名称

资源受限的大模型异构训练方法、计算机设

备和存储介质

(57)摘要

CN119597469A本申请涉及一种资源受限的大模型异构训练方法、计算机设备和存储介质，方法包括：在图像处理器进行模型前向传播时生成的激活量中，根据与各激活量对应的计算量之间的依赖关系和/或各激活量的计算量与存储量确定第一激活量，并将第一激活量异步传输至中央处理器；在模型反向传播过程中从中央处理器加载第一激活量至图像处理器；获取