信息技术 神经网络表示与模型压缩 第2部分：大规模预训练模型 编制说明.pdf

《信息技术神经网络表示与模型压缩第2部分:

大规模预训练模型》（征求意见稿）编制说明

一、工作简况

根据国家标准化管理委员会2023年标准制修订计划的安排，下达由北京大学

牵头制定国家标准《信息技术神经网络表示与模型压缩第2部分：大规模预训

练模型》（计划项目代号T-469）的制定计划。本项目的主要起草单

位包括北京大学、鹏城实验室、华为技术有限公司、北京百度网讯科技有限公司、

海信集团有限公司、北京智源人工智能研究院、杭州海康威视数字技术股份有限

公司、深圳市腾讯计算机系统有限公司、北京市商汤科技开发有限公司、厦门大

学、清华大学、中国电子技术标准化研究院、中国科学院自动化研究所、浙江大

学、深圳龙岗智能视听研究院。

《信息技术神经网络表示与模型压缩第2部分：大规模预训练模型》的正

式制定起始于2021年6月举行的工作组第15次会议，启动《信息技术神经网络表

示与模型压缩第2部分：大规模预训练模型》，确定了标准框架草案，继续征集

相关技术提案；2021年8月，接收神经网络表示等提案，输出神经网络表示与模

型压缩WD0.1；2021年12月，完善神经网络表示与模型压缩标准框架，输出标准

WD撰写规范，更新需求征集书；2022年3月，更新神经网络表示WD撰写规范，输

出标准WD0.2；2022年6月-2022年12月，接收量化、剪枝等提案，输出标准WD0.8；

2023年8月，由国家标准委下达国家标准计划，接收蒸馏等提案，更新WD撰写规

范，输出标准WD0.9；XXX。

主要起草人田永鸿牵头标准制定工作、提出了技术提案、参与了参考软件开

发并负责了标准文本编辑工作；主要起草人XXX，提出了技术提案、参与了标准

制定过程中的讨论、参考软件开发和标准文本审阅修订；主要起草人黄铁军、高

文参与了标准需求讨论及部分技术讨论、在标准制定过程中给出了指导意见。

二、标准编制原则和确定主要内容的论据及解决的主要问题

《信息技术神经网络表示与模型压缩第2部分：大规模预训练模型》标准

主要定义不同大规模预训练模型的表示、支持不同神经网络模型的压缩与存储规

范，将帮助简化研究、应用与人工智能框架的耦合关系，从而使得相关技术与产

品可以更方便地应用在不同场景。

本标准主要面向智算中心、数据中心、智慧城市、视频监控、自然语言处理

等云计算和“AI+行业”场景，以及自动驾驶、移动设备、机器人、无人机等端

计算场景。该标准主要定义大规模预训练模型的基础表示单元、语法及相关运算

操作，并支持多种训练、加速、压缩、编码等方法；制定大规模预训练模型的存

储、传输格式标准；定义针对大规模预训练模型部署应用的数据、模型、特征传

输方案；同时定义规范化的大规模预训练模型开发框架供参考。

本标准提供一种大规模预训练模型表示的三层内容，分别为大规模预训练模

型表示、大规模预训练模型压缩表示和大规模预训练模型封装表示，本框架要求

应用层的定义可以无差别的在不同框架层和平台层上执行，从而打破各种深度学

习算法框架之间的壁垒，促进深度学习在端边云设备上的开发和应用。

其中，大规模预训练模型表示——定义构建大规模预训练模型基本结构信息

的基本语法和语义。大规模预训练模型压缩表示——用于需要资源受限设备以及

专业场景任务的情况。大规模预训练模型封装表示——用于模型从不同端进行传

输、更新。大规模预训练模型在表示、压缩与适配、传输与分发等环节相互关联，形成了

一个完整的生态系统。各个环节之间的联系是紧密的，贯穿了从模型训练到应用的整个生命

周期。

三、主要试验[或验证]情况分析

对于《信息技术神经网络表示与模型压缩第2部分：大规模预训练模型》

各部分的测试验证应分别满足下面要求：

1、应用层需要对数据接口、训练推理和模型分发进行规范化。

2、框架层需要对模型开发、训练、压缩、推理等服务所需的框架和加速库

进行规范化

3、平台层内容需要对模型对外提供训练、推理等服务的软硬件平台和功能

进行规范化。

四、知识产权情况说明

参照AVS工作组制定的完善的工作组规约和知识产权政策，包括：《数字音

视频编解码技术标准工作组章程》、《数字音视频编解码技术标准工作组章程细

则》、《数字音视频编解码技术标准工作组会员协议》、《数字音视频编解码技

术标准工作组知识产权政策》。这些文件为工作组的规范化、国际化奠定了法律