自适应性多教师多学生知识蒸馏学习.doc

自适应性多教师多学生知识蒸馏学习 自适应性多教师多学生知识蒸馏学习 PAGE / NUMPAGES 自适应性多教师多学生知识蒸馏学习 自适应性多教师多学生知识蒸馏学习 模拟人类教学的真实场景 , 知识蒸馏方法提出让模型不仅接收来自真实标签的监督 , 还接收来自其他模型的额外信息的监督。真实标签的引导相当于人类教学中学生做题并从正确答案中获取经验 , 其他模型的信息引导相当于教师将自己学到的知识传递给学生。 该通用的教师 - 学生学习范式主要有两个应用方向 , 一个是利用参数量大且性能强的教师模型帮助简洁且性能差的学生模型提高性能 , 达到模型压缩的效果 ; 另一个应用方向是借助教师模型向学生模型传递它所接收的特征以外的额外信息。然而 , 大多数现有的蒸馏学习相关研究只涉及到一个教师模型 , 忽略了学生模型可以同时受多个教师模型监督 , 或者只是简单地将多个教师模型看做相同重要程度的 , 无法根据教师模型之间的内在差异得到更有效的知识。为了解决这一问题 , 本文提出了一个简洁有效的自适应性多教师模型蒸馏学习框架 , 该框架令学 生模型自行有选择性地学习不同教师模型对特定数据样本的重要性 , 并根据学到的不同重要性融合他们的知识 , 这更加有利于学生模型的学习。在此基础上 , 本文引入了多个学生模型之间相互学习的机制 , 进一步提出了自适应性多教师多学生知识蒸馏学习框架。 本文将提出的框架应用于冷启动文档级情感分类和图像分类模型压缩的任务。 大量公开基准数据集和现实数据集上的实验表明 , 知识蒸馏方法对以上这些任务是有效的 , 并且本文提出的方法可以获得进一步的性能提升。