面向大语言模型推理的KV缓存压缩与高带宽存内计算访存架构联合设计.docxVIP

PAGE2

面向大语言模型推理的KV缓存压缩与高带宽存内计算访存架构联合设计

摘要

大语言模型在长文本推理中面临KV缓存膨胀与访存瓶颈双重挑战，严重制约推理速度与能效。本课题提出KV缓存动态量化与淘汰算法，并设计高带宽存内计算架构，以协同优化访存效率。需求分析指出，传统方案在存储与计算分离的架构下，大量KV缓存搬移导致吞吐骤降；通过量化感知淘汰与近存计算融合，可将缓存容量压缩至原来的1/4，同时消除90%以上片外数据移动。总体设计采用“算法-架构”联合设计思路，将量化、淘汰策略与存内处理单元紧耦合，实现长文本推理延迟降低2.3倍，能效比提升3.8倍。详细设计围绕动态分组量化、重要性感知淘汰、存内计算阵列及数据流调度展开，系统实现基于FPGA原型验证，测试表明在8K序列长度下推理吞吐达每秒24.7个请求，功耗仅2.8W。本设计的创新点在于首次将KV缓存的生命周期管理与存内计算访存架构进行统一建模，为边缘端大模型高效部署提供了新范式。

第一章绪论

1.1研究背景

大语言模型推理的存储挑战

随着Transformer架构的大语言模型（LLM）参数量突破千亿，推理过程中的KV缓存占用已成为制约性能的核心瓶颈。以GPT-3为例，一次推理请求的KV缓存可达数GB，在批处理场景下，GPU显存往往被KV缓存撑满，导致有效批处理大小受限。对于长文本生成，如文档摘要、对话历史处理，序列长度超