面向边缘端大语言模型的轻量化推理引擎与模型压缩系统设计.docxVIP

PAGE2

面向边缘端大语言模型的轻量化推理引擎与模型压缩系统设计

摘要

随着大语言模型（LLM）在自然语言处理任务中展现出卓越性能，其庞大的参数量与计算需求使其难以部署于资源受限的边缘设备。本课题旨在设计并实现一个面向边缘端大语言模型的轻量化推理引擎与模型压缩系统，以解决边缘设备算力、内存与功耗受限的核心痛点。

本设计首先对LLM的量化与剪枝压缩算法进行研究，提出一种混合压缩策略。其次，设计一个高效的边缘端推理引擎架构，优化内存管理与计算调度。最终，在低功耗设备上实现实时文本生成功能，验证系统的可行性与性能。论文遵循“需求分析→总体设计→详细设计→实现→测试”的工程递进思路展开。

全文共分为八章。第一章绪论阐述研究背景与意义。第二章介绍相关技术与开发工具。第三章进行详细的系统需求分析。第四章与第五章分别完成系统的总体设计与详细设计。第六章阐述系统实现过程。第七章进行全面的系统测试。第八章总结全文并展望未来。

本设计的核心创新点在于提出了一种结合动态量化与结构化剪枝的混合压缩算法，并设计了一个面向异构边缘硬件的自适应推理引擎架构。通过实验验证，系统能在保持模型性能损失可控的前提下，显著降低模型存储开销与推理延迟，满足边缘端实时交互需求。

第一章绪论

1.1研究背景

近年来，以GPT、LLaMA为代表的大语言模型在文本生成、对话系统、代码补全等任务上取得了突破性进展。然而，