CN119849594A 基于动态资源分配与知识蒸馏的高效大模型训练优化方法 （山东亚微软件股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119849594A

(43)申请公布日2025.04.18

(21)申请号202510336242.6

(22)申请日2025.03.21

(71)申请人山东亚微软件股份有限公司

地址266000山东省青岛市市南区香港中

路61号阳光大厦A座11层E单元

(72)发明人曹晓华杜凯宁王津顾晓丽张春营蓝孝伟

(74)专利代理机构青岛华慧泽专利代理事务所(普通合伙)37247

专利代理师赵梅

(51)Int.Cl.

G06N3/096(2023.01)

G06N3/0455(2023.01)

G06N3/042(2023.01)

G06N5/022(2023.01)

G06N5/04(2023.01)

G06F9/50(2006.01)

权利要求书2页说明书11页附图1页

(54)发明名称

基于动态资源分配与知识蒸馏的高效大模

型训练优化方法

(57)摘要

CN119849594A本发明涉及机器学习技术领域，具体地说，涉及基于动态资源分配与知识蒸馏的高效大模型训练优化方法。其包括如下步骤：识别学生模型的知识瓶颈层，通过计算教师和学生模型在知识瓶颈层上的注意力分布的差异得到KL散度，并将KL散度作为蒸馏损失项，然后获取训练过程中的资源