基于自主可控软硬件平台的低功耗AI模型推理优化方法.pdfVIP

  • 14
  • 0
  • 约1.45万字
  • 约 12页
  • 2023-09-10 发布于四川
  • 举报

基于自主可控软硬件平台的低功耗AI模型推理优化方法.pdf

本发明公开了基于自主可控软硬件平台的低功耗AI模型推理优化方法,具体涉及计算模型领域;是通过采集硬件加速器结合AI模型的能效比、可编辑指数等参数,得到编程能效折衷系数,并评估性能释放调控性能和推理灵活性。满足指导阈值一的硬件加速器纳入扩展演进等级集合,选择优选加速器实现高效且灵活的AI推理。同时,采集实时吞吐量值和能耗值,计算实时推理能效,得到升华系数。升华系数大于等于指导阈值二的硬件加速器纳入扩展演进等级集合,选取性能较好且优化空间大的加速器作为最优加速器,实现高效、灵活的AI推理。综合考虑硬

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116720585 A (43)申请公布日 2023.09.08 (21)申请号 202311007721.0 (22)申请日 2023.08.11 (71)申请人 福建亿榕信息技术

文档评论(0)

1亿VIP精品文档

相关文档