CN120276667A 键值缓存数据的调度方法、大模型推理方法及装置 （上海芷锐电子科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120276667A(43)申请公布日2025.07.08

(21)申请号202510219153.3

(22)申请日2025.02.26

(71)申请人上海芷锐电子科技有限公司

地址200100上海市闵行区苏召路1628号

(72)发明人朱帅

(74)专利代理机构北京超凡宏宇知识产权代理有限公司11463

专利代理师李光霞

(51)Int.CI.

GO6F3/06(2006.01)

GO6N5/04(2023.01)

GO6N3/092(2023.01)

权利要求书2页说明书14页附图4页

(54)发明名称

键值缓存数据的调度方法、大模型推理方法

及装置

(57)摘要

CN120276967A本申请提供一种键值缓存数据的调度方法、大模型推理方法及装置，涉及人工智能技术领域。该方法包括：利用预测模型预测大模型推理后续token所需的目标键值缓存数据；后续token是指大模型还未推理的token;判断是否需要对所述目标键值缓存数据进行调度；若需要调度，则生成调度策略；根据调度策略从第一存储空间获取目标键值缓存数据，并将目标键值缓存数据存储至第二存储空间；其中，目标键值缓存数据用于使大模型推理后续token。本申请减少对第一存储空间的频繁访问，并且，每次只传输需要的目标键值缓存数据，而非全量的键值缓存数

CN120276967A

利用预测模型预测大模型推理后续token

利用预测模型预测大模型推理后续token所需的目标键值缓存数据

判断是否需要对目标键值缓存数据进行调度

若需要调度，则生成调度策略

根据调度策略从第一存储空间获取目标

键值缓存数据，并将目标键值缓存数据

存储至第二存储空间

101

102

103

104

CN120276667A权利要求书1/2页

2

1.一种键值缓存数据的调度方法，其特征在于，包括：

利用预测模型预测大模型推理后续token所需的目标键值缓存数据；所述后续token是指所述大模型还未推理的token;

判断是否需要对所述目标键值缓存数据进行调度；

若需要调度，则生成调度策略；

根据所述调度策略从第一存储空间获取所述目标键值缓存数据，并将所述目标键值缓存数据存储至第二存储空间；其中，所述目标键值缓存数据用于使所述大模型推理所述后续token;所述第一存储空间用于存储全量的键值缓存数据；所述大模型在推理过程中，从所述第二存储空间中读取所需的键值缓存数据。

2.根据权利要求1所述的方法，其特征在于，所述利用预测模型预测大模型推理后续token所需的目标键值缓存数据，包括：

将已推理tokens、当前token、所述当前token的位置信息输入所述预测模型，获得所述预测模型输出的所述后续token推理所需的目标键值缓存数据；其中，所述当前token是指所述大模型正在推理的token。

3.根据权利要求1所述的方法，其特征在于，所述判断是否需要对所述目标键值缓存数据进行调度，包括：

判断所述第二存储空间是否存储有所述目标键值缓存数据；

若所述第二存储空间没有存储有所述目标键值缓存数据，则确定需要调度；否则不需

要调度。

4.根据权利要求1所述的方法，其特征在于，所述生成调度策略，包括：

将所述目标键值缓存数据、所述第二存储空间中已存储的键值缓存数据和环境特征输入调度模型中，获得所述调度模型输出的调度策略；其中，所述环境特征包括高带宽内存HBM容量、HBM占用率、动态随机存取存储器DRAM容量、DRAM占用率、中央处理器CPU直接读写带宽、图形处理器GPU直接读写带宽、CPU占用率和GPU占用率中的至少一项。

5.根据权利要求4所述的方法，其特征在于，所述调度模型为基于强化学习算法训练获得。

6.根据权利要求1所述的方法，其特征在于，在将所述目标键值缓存数据存储至第二存储空间之前，所述方法还包括：

若所述第二存储空间不足，则从所述第二存储空间中删除部分键值缓存数据。

7.根据权利要求6所述的方法，其特征在于，所述从所述第二存储空间中删除部分键值缓存数据，包括：

将所述第二存储空间中，将推理token序列中前预设数量的token对应的键值缓存数据排除，获得排除后的键值缓存数据；

从所述排除后的键值缓存数据中，按照所述目标键值缓存数据的大小