CN119621350A 一种推理请求的处理方法、设备、存储介质及产品 （苏州元脑智能科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119621350A

(43)申请公布日2025.03.14

(21)申请号202510158846.6

(22)申请日2025.02.13

(71)申请人苏州元脑智能科技有限公司

地址215000江苏省苏州市吴中经济开发

区郭巷街道官浦路1号9幢

(72)发明人王辰袁悦

(74)专利代理机构北京三聚阳光知识产权代理

有限公司11250

专利代理师秦然

(51)Int.Cl.

G06F9/50(2006.01)

G06N5/04(2023.01)

权利要求书4页说明书15页附图4页

(54)发明名称

一种推理请求的处理方法、设备、存储介质

及产品

(57)摘要

CN119621350A本发明涉及机器学习技术领域，公开了一种推理请求的处理方法、设备、存储介质及产品，该方法包括：获取第一节点对应的第一推理队列，第一推理队列存储有第一节点的节点内存中正在执行的N1个推理请求；获取第一节点的可用存储资源和执行N1个推理请求所需的目标存储资源；若可用存储资源小于目标存储资源，则根据N1个推理请求中每个推理请求所需的存储资源和可用存储资源，将第一推理队列更新为第二推理队列，第二推理队列存储有N2个推理请求，1≤N2＜N1；发送包含第二推理队列的指示信息到第一节点。本发明