大语言模型推理效率的 KV 缓存压缩综述.pdfVIP

大语言模型推理效率的KV缓存压缩综述

YanyuLiu,JingyingFu,Sixiang

Liu,YitianZou,You

Fu,JiehanZhou*,andShouhua

Zhang*

ShandongUniversityofScienceandTechnology,Qingdao266590,China

{yanyu.liu,jingying.fu,sixiang.liu,yitian.zou,fuyou,jiehan.zhou}@

https://cogtwins.github.io/

UniversityofOulu,Oulu90014,Finland

本shouhua.zhang@oulu.fi

译*correspondingauthor

中

1

v摘要随着大型语言模型（LLMs）的快速发展，推理所需的上下文长度一

7直在不断增加，导致对键值（KV）缓存的需求呈指数级增长。这导致了显

9

2著的内存瓶颈，限制了模型的推理效率和可扩展性。因此，在推理过程中优

6化KV缓存对于提升性能和效率至关重要。本文系统地审查了当前的KV

0.缓存优化技术，包括选择性令牌策略、量化和注意力压缩等压缩策略。我

8们评估了这些方法的有效性、权衡及其应用场景，并对其对内存使用和推

0

5理速度的影响进行了全面分析。我们重点关注现有方法的局限性和挑战，

2例如与不同模型和任务的兼容性问题。此外，本文还强调了未来的研究方

:

v向，包括混合优化技术、自适应动态策略和软硬件协同设计。这些方法旨

i

x在提高推理效率并推动大型语言模型的实际应用。

r

a

Keywords:KV缓存优化·大型语言模型（LLMs）·压缩策略。

1介绍

近年来，大型语言模型通过利用其处理长上下文的能力彻底改变了自然

语言处理。这使得文档摘要、详细文本分析、多轮对话管理和复杂代码结构

分析取得了进展，扩展了它们在各个领域中的应用[1-3]。

随着LLMs上下文长度的迅速扩展，128K-token的上下文已成为标准，

并且现在可以实现百万token的上下文[4]。随着上下文长度的增加，对硬件

资源的需求，特别是KV缓存需求显著增加。KV缓存压缩是优化LLMs推

2YanyuLiuetal.

理效率的关键技术，主要是通过压缩自注意力机制中的键和值张量来减少内

存使用并提高计算效率。以LLaMa为例，在解码过程中为每个输入token

生成的KV缓存在后续token中复用以计算注意力权重，避免了冗余计算。

然而，KV缓存的内存使用随着输入序列长度和批次大小线性增长，显著增

加了长序列或大批量推理所需的GPU内存需求，成为性能瓶颈。

为了解决KV缓存过度消耗的问题，近年来学术界和工业界提出了多种

压缩方法。例如，一些方法通过量化技术减少K