CN119599094A 模型训练方法、装置、电子设备和存储介质 （之江实验室）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119599094A

(43)申请公布日2025.03.11

(21)申请号202510151576.6

(22)申请日2025.02.11

(71)申请人之江实验室

地址311121浙江省杭州市余杭区中泰街

道科创大道之江实验室

(72)发明人基隆若沙库·提提郎许莹莹姚柯璐李超

(74)专利代理机构北京博思佳知识产权代理有限公司11415

专利代理师靳玫

(51)Int.Cl.

G06N3/096(2023.01)

G06N3/0464(2023.01)

权利要求书2页说明书13页附图5页

(54)发明名称

模型训练方法、装置、电子设备和存储介质

(57)摘要

CN119599094A本说明书提供一种模型训练方法、装置、电子设备和存储介质，所述方法包括：将训练数据分别输入至教师模型、辅助模型和学生模型，所述教师模型是已训练的。教师模型对训练数据进行特征提取，并将提取的教师中间特征传递至所述辅助模型。所述辅助模型对所述训练数据进行特征提取，并将提取的辅助中间特征传递至所述学生模型；以及，基于第一损失函数训练所述辅助模型，所述第一损失函数包括所述辅助中间特征与所述教师中间特征之间的第一特征蒸馏损失。所述学生模型对所述训练数据进行特征提取，得到学生中间特征