模型的推理优化方法、系统、电子设备和存储介质.pdfVIP

  • 3
  • 0
  • 约2.38万字
  • 约 22页
  • 2023-04-24 发布于北京
  • 举报

模型的推理优化方法、系统、电子设备和存储介质.pdf

本申请实施例涉及深度学习技术领域,特别涉及一种模型的推理优化方法、系统、电子设备和存储介质,该方法包括:获取模型的算子信息和中央处理单元CPU的硬件信息;根据所述模型的算子信息、所述CPU的硬件信息和预设的策略生成算法,确定代码生成策略;其中,所述代码生成策略包括调度代码生成策略和计算代码生成策略;根据所述代码生成策略,生成调度代码和计算代码;将所述调度代码和所述计算代码进行编译和链接,获得编译完成的模型文件。本申请实施例提供的模型的推理优化方法,可以充分利用CPU的计算能力,大幅提升模型推理的

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 114020465 A (43)申请公布日 2022.02.08 (21)申请号 202111314799.8 (22)申请日 2021.11.08 (71)申请人 中兴

文档评论(0)

1亿VIP精品文档

相关文档