《面向国产人工智能芯片的模型推理底座适配规范》编制说明.docx

PAGE

PAGE1

《面向国产人工智能芯片的模型推理底座适配规范》

编制说明

工作简况

1项目背景

面向国产人工智能芯片的模型推理底座是衔接国产AI芯片（昇腾、寒武纪、摩尔线程等）与上层AI应用的关键基础设施，是实现模型高效运行、环境兼容、跨硬件迁移、低门槛部署的核心支撑平台。当前我国人工智能产业快速发展，国产AI芯片硬件算力已接近国际先进水平，但软件生态割裂、运行环境冲突、部署门槛高、跨芯片迁移成本大等问题突出，主流推理工具高度依赖国外生态，导致国产芯片规模化应用受阻，行业面临“卡脖子”与“适配难”双重痛点。

目前行业内缺少面向国产人工智能芯片的模型推理底座统一适配规范