基于慷慨教师的知识蒸馏及人脸交换轻量化研究.pdf

基于慷慨教师的知识蒸馏及人脸交换轻量化研究.pdf

摘要

摘要

知识蒸馏(KnowledgeDistillation,KD)通过将大型教师网络的知识转移到

轻量级学生网络,以提高学生网络在特定任务中的表现。近年来,主流的蒸馏方

法侧重于改进学生的学习方式,对教师所提供知识的有效性关注较少。在重新审

视教师传递的知识后,本文发现其中仍有未被开发的潜力,对于缩小师生网络之

间的性能差距至关重要。因此,本文从教师的角度研究知识蒸馏,并提出一种新

颖的教师知识增强方法——慷

文档评论(0)

1亿VIP精品文档

相关文档