CESA-2021-3-004《人工智能芯片 计算机视觉推理用云侧深度学习芯片测试指标与测试方法》团体标准（征求意见稿）编制说明.pdfVIP

中国电子工业标准化技术协会 一、工作简况 1、任务来源 《⼈⼯智能芯片 计算机视觉推理用云侧深度学习芯片测试指标与测试方 法》是中国电子工业标准化技术协会于2021年下达的团体标准制定项目，团标标 计划号CESA-2021-3-004。 2、标准编制的主要成员单位 本项目由上海商汤科技开发有限公司、中国电子技术标准研究院、上海阵量 智能科技有限公司、清华大学天津电子信息研究院、上海交通大学、中科寒武纪 科技股份有限公司、曙光信息产业股份有限公司、上海燧原科技有限公司、上海 壁仞智能科技有限公司、昆仑芯（北京）有限科技公司、澜起科技股份有限公司、 南京蓝洋智能科技有限公司、上海闻泰信息技术有限公司、沐曦集成电路（上海） 有限公司、海光信息技术股份有限公司、上海天数智芯半导体有限公司、上海登 临科技有限公司、北京仲宜信息技术有限公司等共同编制。 主要起草人包括：。 3、主要工作过程 1） 2021年3月-5月，调研国内外人工智能芯片测试技术发展及芯片测试相 关标准、政策等，形成研究报告及草案大纲； 2）2021年6月9日，中国电子工业标准化技术协会组织人工智能芯片领域专 家在北京万寿宾馆对《人工智能芯片 计算机视觉推理用云侧深度学习芯片测试 指标与测试方法》等两项团体标准项目进行立项论证。； 3） 2021年7月26日，中国电子工业标准化技术协会发布立项通知，标准成 功立项； 中国电子工业标准化技术协会 4） 2021年7月-9月，联合上海阵量智能科技有限公司、清华大学天津电子 信息研究院、上海交通大学、中科寒武纪科技股份有限公司等相关单位形成完整 的标准草案； 5） 2021年9月15日，该项标准在ICPA智算联盟大会上进行讨论，来自16家 单位的40余名专家共同研讨，对标准架构、一致性、主要评测技术内容、测试方 法等方面提出了66条意见； 6） 2021年10月，牵头单位整理汇总意见并进行修改； 7）2021年11月10日，该项标准召开第二次公开标准研讨会，对第一次会的 意见进行一一回复，同时对草案进行第二次意见征询； 8） 2021年11月-12月，针对第二次讨论会收集到的意见进行处理； 9） 2022年1月，形成公开征求意见稿。。 二、标准编制原则和确定主要内容的论据及解决的主要问题 1、编制原则 本标准的编制原则是： a）通用性 按照本标准实现的计算机视觉芯片评测，便于用户使用，有利于主管部门的 测评、认证和管理。 b）实用性 根据我国国情、实际应用情况和国家有关政策编制本标准，使其在指导计算 机视觉推理芯片测评方面具有很强的实用性。 c）符合性 符合国家有关法律法规和已有标准规范的相关要求。 2、确定主要内容的依据 标准制定的依据为： a）标准格式按照GB/T 1.1—2020标准要求编写。 b）本标准制定参考以下标准： T/CESA 1119—2020 人工智能芯片 面向云侧的深度学习芯片测试指标与 测试方法 中国电子工业标准化技术协会 T/CESA 1120—2020 人工智能芯片 面向边缘侧的深度学习芯片测试指标 与测试方法 T/CESA 1121—2020 人工智能芯片 面向端侧的深度学习芯片测试指标与 测试方法 3、解决的主要问题 计算机视觉推理芯片的测评指标,主要包括基本技术规格、功能、性能、软 件生态以及应用场景测试等部分，在依据本文件进行测试的过程中： a）涉及功能、性能、应用场景等相关指标将通过第三方测试工具进行评测； b）涉及基本技术规格和软件生态部分的指标将采信被测对象标称值及其他 技术信息，作为先进性的参考。 三、主要试验[或验证]情况分析 基于评测标准中间版本，先后对英伟达的V100、A100、寒武纪MLU290、海 光DCU-2、华为昇腾910NPU 以及天数智芯BIv100 进行了测试，从结果看，比较 客观的反映了相关芯片的情况。 四、知识产权情况说明 暂无。 五、产业化情况、推广应用论证和预期达到的经济效果 本评测标准主要适用于对人工智能视觉推理芯片进行评估与测试。人工智能 视觉计算是一项综合计算项目，涉及的处理内容相对复杂，从多个角度综合评估 一款芯片的实际能力水平，并考虑计算机视觉的细分应用场景