人工智能 深度学习编译器接口 编制说明.pdfVIP

内审资料

《人工智能深度学习编译器接口》（征求意见稿）

编制说明

一、工作简况

根据国家标准化管理委员会2023年下达的国家标准制修订计划，全国信息

技术标准化技术委员会启动了《人工智能深度学习编译器接口》（立项号：T-469）的制定工作。本标准为自主制定标准，起草单位为中国电子技

术标准化研究院、上海人工智能实验室、华为技术有限公司、上海商汤科技有限

公司、北京大学、北京智源人工智能研究院、上海燧原科技有限公司、浪潮电子

信息产业股份有限公司、北京壁仞开发科技有限公司、北京大学长沙计算与数字

经济研究院、中国移动通信有限公司研究院、浙江大华技术股份有限公司、上海

天数智芯半导体有限公司、上海依图网络科技有限公司、杭州海康威视数字技术

股份有限公司等，归口单位为全国信息技术标准化技术委员会（SAC/TC28）。

标准计划下达后，标准起草组进行了在全国信标委组织领导下，按计划开展

本标准制定工作，具体内容如下：

2023年12月，标准工作组正式成立，并开展了广泛的理研究、实际调研和

资料收集工作。

2024年02月，编制形成工作组讨论稿。

2024年03月至2024年12月，标准工作组多次组织讨论，修改标准草案。

二、标准编制原则和确定主要内容的论据及解决的主要问题

1.标准编制原则

该标准的编制原则包含以下两个方面：

1)规范性原则：该标准是《国家新一代人工智能标准体系建设指南》中的

基础软硬件平台标准，对人工智能规划与建设具有重要的基础设施支撑

作用，与国家人工智能相关政策导向相一致。

2)普适性原则：该标准在编制过程中充分调研了国际、国内深度学习编译

器的研究情况与产业现状，确保标准定义的架构、接口语义等内容具备

科学、合理与普适性。

2.标准主要内容

内审资料

本文件规范了深度学习编译器的接口功能与输入、输出参数，并提出了相应

的测试方法。

本文件适用于深度学习编译器的设计与实现，也可为深度学习编译器的集成

和应用提供参考。

3.标准解决的问题

随着深度学习技术的不断商业化应用，企业和研究机构纷纷启动了深度学习

框架和AI加速芯片（AI加速器）的研发。这些多样化的产品为深度学习产业的

繁荣发展奠定了基础，但同时也带来了技术路线不一致和生态碎片化的问题。由

于每个深度学习框架都有自己的编译路线，AI加速芯片厂商需要逐个适配才能

使得加速芯片在框架中发挥算力，这在增加AI产业上下游适配复杂度的同时，

也降低了我国AI核心技术产品的国际竞争力。

深度学习编译器是一种面向深度学习模型及领域特定语言源代码进行计算

图优化、编译或算子生成的工具，目的是以最高效的方式释放AI加速芯片的算

力，可在深度学习框架和AI加速芯片间起到承上启下的作用。深度学习编译器

可接受来自深度学习框架API或模型文件的输入，也可以接受领域特定语言源

代码作为输入。对于来自深度学习框架API或模型文件的输入，编译器通过图

生成、图转换、图调度、算子生成等操作，获得可在AI加速芯片执行的文件；

对于领域特定语言源代码，编译器调用算子生成器获得可在AI加速芯片执行的

文件。基于编译器，上下游厂商可以通过一次适配即可深度接入算法生态，从根

本上打破生态壁垒，实现软硬件解耦和算力要素多样化。这种解耦和多样化的实

现方式将有助于提高深度学习应用的效率和灵活性，推动深度学习技术的发展和

普及。

因此，本文件面向深度学习编译器，标准化操作接口及统一中间表达，旨在

解耦深度学习框架与编译路线，使AI加速芯片厂商只需适配本文件定义的编译

器接口，就可以在多个深度学习框架上释放算力，降低产业整体适配工作量，推

动深度学习软硬件生态的高效发展。

三、主要试验[或验证]情况分析

目前参与编写的单位中，已有较多深度学习编译器的开发及应用单位，经过

与深度学习编译器上下游厂商的研讨沟通，本标准所定义的技术架构、接口参数

内审资料

等内容已被证明确实可行。