基于知识蒸馏的跨模态检索模型轻量化与端侧推理系统设计.docx

PAGE2

基于知识蒸馏的跨模态检索模型轻量化与端侧推理系统设计

摘要

随着移动互联网与物联网的深度融合，跨模态检索技术在智能终端设备上的应用需求日益迫切。然而，现有高性能跨模态模型通常参数量巨大、计算复杂，难以在资源受限的端侧设备上高效部署与实时推理。本课题旨在设计并实现一套轻量化的跨模态检索系统，以解决模型在端侧部署的功耗、时延与存储瓶颈问题。

本设计首先构建了一个跨模态教师-学生知识蒸馏框架。通过引入特征对齐损失函数，将大型教师模型的多模态语义知识有效迁移至轻量化的学生模型中。其次，针对端侧环境，设计了一个低功耗推理引擎，优化了模型前向传播的计算图与内存访问模式。论文工作遵循“需求