CN119831033A 一种推理方法及系统、电子设备、存储介质 （上海多云路科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119831033A

(43)申请公布日2025.04.15

(21)申请号202411845990.9

(22)申请日2024.12.13

(71)申请人上海多云路科技有限公司

地址201800上海市嘉定区澄浏公路52号

39幢2楼JT9071室

(72)发明人郭耕良

(74)专利代理机构上海晨皓知识产权代理事务所(普通合伙)31260

专利代理师何珂依

(51)Int.Cl.

G06N5/04(2023.01)

G06N3/0455(2023.01)

G06N3/0499(2023.01)

G06N3/08(2023.01)

权利要求书2页说明书11页附图3页

(54)发明名称

一种推理方法及系统、电子设备、存储介质

(57)摘要

CN119831033A本申请实施例涉及人工智能技术领域，公开了一种推理方法及系统、电子设备、存储介质。推理方法包括：接收用户请求，其中，所述用户请求携带输入信息；根据所述输入信息，在缓存中进行匹配，得到匹配的token序列及其KV参数；根据所述匹配的token序列及其KV参数、所述输入信息，进行推理；将推理得到的token序列及其KV参数存储至所述缓存，并根据推理的结果响应所述用户请求。至少有利于提高推理效率，加快对用

CN