模型蒸馏技术入门全攻略.pptxVIP

;;;;;;;;;;;知识定义与分类;;;;;;;;;注意力图蒸馏将教师网络生成的注意力图作为监督信号，让学生网络匹配空间或通道注意力分布。注意力图能反映模型关注的重要区域，帮助学生网络学习关键判别特征，提升检测与分割性能。

;关系蒸馏;;;;;;;;;;;;多任务蒸馏实践;;1.教师学生容量差距

教师模型与学生模型容量相差过大时，学生难以完全模仿教师行为。可能出现知识损失或过平滑现象。需要通过特征投影、辅助结构、渐进训练等方式缩小代沟，提高知识吸收效率。

2.任务适配困难

不同任务的蒸馏目标差异很大，结构化预测、生成任务和度量学习不能简单使用分类蒸馏。需要重新设计软标签形式和匹配损失，增加了蒸馏方法迁移的复杂度和调参工作量。

3.数据需求与质量

蒸馏依赖教师模型输出，需要大量数据且要求数据分布覆盖真实场景。无标注数据虽然可用，但质量参差不齐。如何筛选有效样本并避免教师错误传播是实际应用中的关键难题。

4.计算资源消耗

训练教师模型和蒸馏过程需要大量计算资源，尤其大模型蒸馏耗时耗电。如何在有限算力下高效完成蒸馏，以及减少教师推理调用次数，是工程部署中必须考虑的问题。

;;;;