深度学习推理引擎的调度方法、装置、设备和介质.pdfVIP

  • 9
  • 0
  • 约1.59万字
  • 约 15页
  • 2023-06-06 发布于四川
  • 举报

深度学习推理引擎的调度方法、装置、设备和介质.pdf

本申请公开了一种深度学习推理引擎的调度方法、装置、设备和介质,涉及人工智能、深度学习和芯片技术。具体实现方案为:响应于来自应用层的针对当前推理任务的调度请求,确定所述当前推理任务的类型;计算每个推理引擎执行所述类型的当前推理任务后的总负载;比较所述每个推理引擎的总负载,根据比较结果从所述每个推理引擎中确定执行所述当前推理任务的目标推理引擎;将所述目标推理引擎的索引返回至所述应用层,其中,所述索引表示推理引擎的调用路径。本申请实施例能根据各推理引擎实际的算力来分配推理引擎,从而提高系统性能。并且,

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 115759252 A (43)申请公布日 2023.03.07 (21)申请号 202211243104.6 G06V 10/82 (2022.01)

文档评论(0)

1亿VIP精品文档

相关文档