原创力文档- 5
- 0
- 约1.67万字
- 约 16页
- 2023-06-20 发布于四川
- 举报
本发明涉及知识蒸馏技术领域，公开了一种基于多重知识迁移的知识蒸馏方法、装置、设备及介质，所述方法包括：构建两个网络组，网络组包括未训练的协同网络和完成预训练的教师网络；其中，通过对与协同网络相同的预训练网络进行预训练获取教师网络；将训练数据输入两个网络组中获取各个协同网络和教师网络的输出结果，训练数据还包括对应的真实标签数据；基于与协同网络同组的教师网络的输出结果、两个协同网络的输出结果、两个协同网络迁移样本间的关系确定蒸馏损失函数；基于蒸馏损失函数对协同网络进行迭代训练。本发明可在节省网络模型
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 113326940 A
(43)申请公布日 2021.08.31
(21)申请号 202110712121.9
(22)申请日 2021.06.25
(71)申请人 江苏大学
地址 21
文档评论（0）