低秩适配与模型压缩的协同优化.docx

PAGE

PAGE1

《低秩适配与模型压缩的协同优化》

课题分析与写作指导

本课题《低秩适配与模型压缩的协同优化》聚焦于当前深度学习领域最为迫切的挑战之一：如何在保持高性能的前提下，大幅降低大模型的计算开销与存储成本。随着预训练语言模型（PLM）参数量的指数级增长，全量微调与高精度推理已成为制约大模型落地应用的关键瓶颈。本研究的核心内容在于深入剖析低秩适配（LoRA）等参数高效微调（PEFT）方法的内在机理，并将其与量化、剪枝等模型压缩技术进行深度耦合，探索一种“压缩-微调”协同优化的新范式。通过理论推导与实验验证，本研究旨在解决压缩后模型性能难以恢复、微调过程中参数冗余累积等痛点