CN119538977A 基于剪枝网络的渐进式知识蒸馏轻量化方法、装置和设备 （中国人民解放军国防科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119538977A

(43)申请公布日2025.02.28

(21)申请号202510104750.1

(22)申请日2025.01.23

(71)申请人中国人民解放军国防科技大学

地址410073湖南省长沙市开福区德雅路

109号

(72)发明人项凤涛陈君海黎拓新罗翔宇张晓博张万鹏谷学强

(74)专利代理机构长沙国科天河知识产权代理

有限公司43225

专利代理师彭小兰

(51)Int.Cl.

G06N3/042(2023.01)

G06N3/045(2023.01)

G06N3/0495(2023.01)

G06N3/082(2023.01)

G06N3/096(2023.01)

权利要求书3页说明书8页附图3页

(54)发明名称

基于剪枝网络的渐进式知识蒸馏轻量化方

法、装置和设备

(57)摘要

CN119538977A本申请涉及一种基于剪枝网络的渐进式知识蒸馏轻量化方法、装置和设备。所述方法包括：获取原始模型、预设剪枝层数量以及目标任务场景下的训练样本；根据预设剪枝比例对原始模型的第一层进行剪枝，将原始模型作为教师模型，将剪枝后的模型作为学生模型，根据训练样本采用蒸馏训练策略对教师模型和学生模型进行训练，确定第一轻量