CN114462546B 一种基于多模型融合的特征蒸馏方法、系统、设备和介质 （上海云从企业发展有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114462546B(45)授权公告日2025.07.11

(21)申请号202210142194.3

(22)申请日2022.02.16

(65)同一申请的已公布的文献号申请公布号CN114462546A

(43)申请公布日2022.05.10

(73)专利权人上海云从企业发展有限公司

地址201203上海市浦东新区中国(上海)

自由贸易试验区上科路366号、川和路55弄11号、12号

GO6V10/774(2022.01)

GO6V10/80(2022.01)

GO6V10/74(2022.01)

GO6V10/771(2022.01)

GO6V10/82(2022.01)

(56)对比文件

CN112766411A,2021.05.07

CN112446331A,2021.03.05审查员黄钏儿

(72)发明人王曦蹇易

(74)专利代理机构上海汉之律师事务所31378专利代理师唐勇

(51)Int.CI.

GO6N3/096(2023.01)

GO6N3/045(2023.01)权利要求书2页说明书7页附图4页

(54)发明名称

一种基于多模型融合的特征蒸馏方法、系统、设备和介质

(57)摘要

CN114462546B本发明提出一种基于多模型融合的特征蒸馏方法、系统、设备和介质，包括：通过预训练的多个教师模型分别获取目标数据的特征作为第一特征；通过学生模型的主干网络获取所述目标数据的第二特征，将所述第二特征分别输入多个第一蒸馏子网络，通过每个所述第一蒸馏子网络分别输出与所述第一特征相似度达到设定阈值的第二特征；将所有所述第一特征进行融合得到第一融合特征，并将各所述蒸馏子网络输出的第二特征进行融合得到第二融合特征，将所述第一融合特征和第二融合特征输入第二蒸馏子网络，获取所述目标数据的蒸馏特征；本发明充分利用不同教师模型的优势，从局部和全局两个方向进行蒸馏学习，提升学生模型的识别性

CN114462546B

S01

通过预训练的多个教师模型分别获取目标数据的特征作为第一特征

S02

通过学生模型的主干网络获取所述目标数

据的第二特征，将所述第二特征分别输入

多个第一蒸馏子网络，通过每个所述第一

蒸馏子网络分别输出与所述第一特征相似

度达到设定阈值的第二特征

S03

将所有所述第一特征进行融合得到第一融

合特征，并将各所述蒸馏子网络输出的第

二特征进行融合得到第二融合特征，将所

述第一融合特征和第二融合特征输入第二

蒸馏子网络，获取所述目标数据的蒸馏特

征

CN114462546B权利要求书1/2页

2

1.一种基于多模型融合的特征蒸馏方法，其特征在于，包括：

通过预训练的多个教师模型分别获取目标数据的特征作为第一特征；目标数据包括待识别对象的人脸图像、车辆图像；

学生模型可包括主干网、局部蒸馏模块和全局蒸馏模块，其中，局部蒸馏模块包括多个第一蒸馏子网络，全局蒸馏模块将各教师模型得到的目标数据的第一特征进行拼接融合，得到第一融合特征；通过学生模型的主干网络获取所述目标数据的第二特征，将所述第二特征分别输入多个第一蒸馏子网络，通过每个所述第一蒸馏子网络分别输出与所述第一特征相似度达到设定阈值的第二特征；

将各所述蒸馏子网络输出的第二特征进行融合得到第二融合特征，将所述第一融合特征和第二融合特征输入第二蒸馏子网络，获取所述目标数据的蒸馏特征；所述第二蒸馏子网络与所述第一蒸馏子网络采用相同的网络结构。

2.根据权利要求1所述的基于多模型融合的特征蒸馏方法，其特征在于，所述第一蒸馏子网络包括：注意力模块、归一化层、相似计算层以及至少一个全连接层；

注意力模块根据所述全连接层输出特征的特征值大小获取对应特征的权重输出至所述归一化层；

所述归一化层根据所述全连接层输出特征以及所述注意力模块输出权重完成对应特征归一化；

所述相似计算层通过预设的损失函数获取归一化后的特征与对应教师模型输出的第一特征之间的相似