面向目标检测的对比知识蒸馏方法.pdfVIP

JournalofComputerApplicationsISSN1001⁃90812025⁃02⁃10

计算机应用,2025,45(2):354-361CODENJYIIDUhttp://www.joca.cn

文章编号：1001-9081（2025）02-0354-08DOI:10.11772/j.issn.1001-9081.2024020212

面向目标检测的对比知识蒸馏方法

1，2，31，2*

杨晟，李岩

（1.机器人学国家重点实验室（中国科学院沈阳自动化研究所），沈阳110169；

2.中国科学院机器人与智能制造创新研究院，沈阳110016；3.中国科学院大学，北京100049）

（∗通信作者电子邮箱liyan1@sia.cn）

摘要：知识蒸馏在图像分类等任务中是最有效的模型压缩方法之一，然而它在复杂任务如目标检测上的应用较

少。现有的知识蒸馏方法主要专注于构建信息图，以过滤教师和学生在特征提取过程中来自前景或背景区域的噪

声，最小化特征之间的均方差损失；然而，这些方法的目标函数难以进一步优化，且只利用教师的监督信号，导致学生

缺乏对非正确知识的针对性信息。基于此，提出一种面向目标检测的对比知识蒸馏（CKD）方法。该方法重新设计蒸

馏框架和损失函数，不仅使用教师的监督信号，而且利用构造的负样本提供指导信息进行知识蒸馏，让学生在获得教

师的知识的同时通过自我学习获取更多知识。在PascalVOC和COCO2014数据集上，使用GFocal（GeneralizedFocal

loss）和YOLOv5模型将所提方法与基线方法对比的实验结果表明：CKD方法在PascalVOC数据集上使用GFocal模型

的平均精度均值（mAP）提升5.6个百分点，平均精度（阈值为0.5）AP50提升5.6个百分点；在COCO2014数据集上使

用YOLOv5模型的mAP提升1.1个百分点，AP50提升1.7个百分点。

关键词：深度神经网络；知识蒸馏；对比学习；模型压缩；目标检测

中图分类号：TP183文献标志码：A

Contrastiveknowledgedistillationmethodforobjectdetection

YANGSheng1，2，3，LIYan1，2*

（1.StateKeyLaboratoryofRobotics（ShenyangInstituteofAutomation，ChineseAcademyofSciences），ShenyangLiaoning110169，China；

2.InstitutesforRoboticsandIntelligentManufacturing，ChineseAcademyofSciences，ShenyangLiaoning110016，China；

3.UniversityofChines