CN119556862A 基于kv缓存复用的对话系统交互方法及装置 （中山大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119556862A

(43)申请公布日2025.03.04

(21)申请号202411780958.7

(22)申请日2024.12.05

(71)申请人中山大学

地址510275广东省广州市海珠区新港西

路135号

(72)发明人陈武辉周嘉航郑子彬

(74)专利代理机构北京集佳知识产权代理有限

公司11227

专利代理师翁仪

(51)Int.Cl.

G06F3/06(2006.01)

G06N5/04(2023.01)

G06F18/22(2023.01)

G06F16/2455(2019.01)

权利要求书3页说明书13页附图4页

(54)发明名称

基于KV缓存复用的对话系统交互方法及装

置

(57)摘要

CN119556862A本申请提供的基于KV缓存复用的对话系统交互方法及装置，包括：在接收到目标提示词时，确定参考提示词，接着确定将参考提示词转换为目标提示词所需的最少编辑次数对应的编辑操作集合后，确定参考提示词在每个解码器层的统一注意力图，对于每一解码器层，根据编辑操作集合和参考提示词在该解码器层的统一注意力图确定目标提示词在该解码器层中需要重新计算KV缓存的目标词元。通过编辑操作集合和统一注意力图来确定目标词元，这样可以准确地识别出目