CN120235251A 模型推理系统、方法、装置、电子设备、介质及产品 （苏州元脑智能科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120235251A

(43)申请公布日2025.07.01

(21)申请号202510717602.7

(22)申请日2025.05.30

(71)申请人苏州元脑智能科技有限公司

地址215000江苏省苏州市吴中经济开发

区综保区经一路1号8幢

(72)发明人李柏宏吴韶华

(74)专利代理机构北京同立钧成知识产权代理

有限公司11205

专利代理师宋蓉黄健

(51)Int.Cl.

G06N5/04(2023.01)

G06F12/0877(2016.01)

权利要求书3页说明书15页附图7页

(54)发明名称

模型推理系统、方法、装置、电子设备、介质

及产品

(57)摘要

CN120235251A本申请公开了一种模型推理系统、方法、装置、电子设备、介质及产品，涉及人工智能技术领域，包括设置多类多级缓存存储不同类型的缓存数据，可以充分利用模型的缓存数据，减少模型

CN120235251A

CN120235251A权利要求书1/3页

2

1.一种模型推理系统，其特征在于，包括：第一调度器、至少一个第一处理器、第二调度

器、以及至少一个第二处理器；其中，