CN119847437A 大模型推理中的缓存优化方法及装置 （支付宝(杭州)信息技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119847437A

(43)申请公布日2025.04.18

(21)申请号202411931981.1

(22)申请日2024.12.25

(71)申请人支付宝（杭州）信息技术有限公司

地址310000浙江省杭州市西湖区西溪路

543号-569号（单号连续）1幢2号楼5层

518室

(72)发明人秦子然曹雨晨胡文李建国

(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309

专利代理师张明周良玉

(51)Int.Cl.

G06F3/06(2006.01)

G06N5/04(2023.01)

G06N3/045(2023.01)

G06N3/0455(2023.01)

权利要求书4页说明书11页附图5页

(54)发明名称

大模型推理中的缓存优化方法及装置

(57)摘要

CN119847437A本说明书实施例提供一种大模型推理中的缓存优化方法，包括：在预填充阶段，针对大模型中的多个注意力层，逐层进行缓存操作，其中，针对任意第i层的缓存操作包括：获取第i层的目标注意力矩阵。分别根据目标注意力矩阵行数据和列数据的分布，确定第一指标值和第二指标值。根据第一指标值和第二指标值，确定第i层对应的第i偏好分数。根据第i偏好分数，确定在