CESA-2021-3-002《通用计算CPU性能测试基准运行框架要求》团体标准（征求意见稿）编制说明.pdfVIP

中国电子工业标准化技术协会 编制说明 一、工作简况 2021年中国电子技术标准化研究院启动了团体标准 《通用计算CPU性能测试 基准运行框架要求》的研制工作，该标准由中国电子工业标准化技术协会下达立 项通知，立项号CESA-2021-3-002。任务下发后，由中国电子技术标准化研究院 牵头，起草单位包括中国电子技术标准化研究院、天津飞腾信息技术有限公司、 龙芯中科技术有限公司、华为技术有限公司、海光信息技术有限公司、上海兆芯 集成电路有限公司、无锡先进技术研究院等单位，归口单位为中国电子工业标准 化技术协会和中国电子技术标准化研究院。 2、主要工作过程： （一）标准预研 为指导通用计算CPU性能基准测试工具框架的开发，2020年10月由中国电子 技术标准化研究院牵头，联合计算产业界各相关单位对通用计算CPU性能基准工 具框架设计、开发等阶段的共性需求进行了调研和分析，初步确定了制定通用计 算CPU性能测试框架要求的标准化方案。 2021年3月5日，召开第一次标准研讨会，确定标准范围、目的、标准化对 象。明确通用计算性能基准运行框架应包含的主要模块能力。 2021年3月31日-2021年4月1日，召开第二次标准研讨会，讨论确定标准章节 目录结构以及标准草案内容。本次会议由中国电子技术标准化研究院主持召开， 来自各与会单位的专家共同讨论了关于CPU性能测试基准运行框架标准的编制工 作，并对测评工具研发工作进行了讨论，明确了后续相关工作内容。通过考察业 界常用参考机器，初步给出以搭载至强铜牌3104处理器的机器为参考机器，该处 理器其它信息如下：发行日期2017年Q3、基频1.7GHz、6核、14nm制程、8.25MBL3 Cache），该参考机器仅作为标准、工具初步开发过程中讨论使用。 中国电子工业标准化技术协会 2021年4月15日，召开第三次标准研讨会，继续就相关标准章节内容进行研 讨。 2021年4月28日，召开第四次标准研讨会，会上对标准草案和参考机器等内 容进行了详细讨论，并逐条答复了各单位对参考机器选择所提出的建议，最终确 定了基准机器配置如下： 机型：HPE ProLiant DL380 Gen10 操作系统：CentOS7.6 CPU:至强 skylake3106 发布日期 2017 1.7G 8核 14nm 11MBL3cache 内存：16GB DDR4 RDIMM, 2666MT/s 硬盘：镁光 SATA SSD 5200ECO 480GB 网卡：板载网卡 2021年5月18日，召开第五次标准研讨会。会上对目前已提交的workload进 行了评审，提交单位对workload的来源和裁剪情况进行了介绍，参会代表从应用 领域、正确性验证、CPU占用率、运行时长、运行稳定性等方面进行讨论、质疑， 通过表决最后决定全部进入备选库。与会专家从workload的开发过程中，提取了 相关共性技术内容到标准草案，对标准内容进行了丰富。 （二）标准立项 2021年6月9日，标准牵头单位中国电子技术标准化研究院，联合天津飞腾信 息技术有限公司、海光信息技术有限公司等单位在中国电子工业标准化技术协会 内正式申请立项，并通过评审。 （三）标准编制 2021年6月10日，召开第六次标准研讨会。讨论了关于CPU性能基准运行框架 标准及工具的推进工作，对新提交的workload的来源和裁剪情况进行了介绍，标 准草案内容得到进一步刷新。 2021年6月30日，召开第七次标准研讨会。会上各参会单位代表讨论了关于 CPU性能基准工具的推进工作，对各单位提交的workload进行评审。本次提交的 负载覆盖了数据库、天体物理学、气象、基因等领域，通过表决最后决定全部进 入备选库。各单位针对运行框架设计提出建议，就相关负载集成到工具框架问题 进行了详细讨论。 中国电子工业标准化技术协会 2021年9月6日，召开第八次标准研讨会。就标准与工具的符合性进行了现场 查验及验证。根据会上讨论，一致认为当前CPU性能基准工具和配套标准符合性 较为一致，CPU性能基准工具达到可发行状态，已入库测试负载均可纳入发行版。 并对工具改进提出了继续优化、增加AI特色负载等建议。 2021年9月17日，标准草案启动在计算产品性能基准工作组内进行意见征集， 配套工具在湖南长沙的世界计算大会上