智算中心算力性能评估测试方法.pdfVIP

ICS35.240

CCSL70

团体标准

T/SHSIC0101—2023

智算中心算力性能评估测试方法

ComputingPowerPerformanceEvaluationandTestMethodofIntelligent

ComputingCenter

2023-06-14发布2023-06-30实施

上海市通信学会发布

T/SHSIC0101—2023

智算中心算力性能评估测试方法

1范围

本文件规定了智算中心在算力方面的基本性能指标测量、应用性能指标测量、有效性指标测量、资

源管理能力评估、生态支持评估等多维度性能指标及测试、评估方法。

本文件适用于智算中心的智能算力，包括人工智能加速卡、服务器到集群系统的测试、评估、选型、

部署和运营。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

3术语和定义

下列术语和定义适用于本文件。

3.1

智算中心intelligentcomputingcenter

智能算力生产中心，以融合架构计算系统为平台，以数据为资源，以强大算力驱动AI模型对数据进

行深度加工，源源不断产生各种智慧计算服务，并通过网络以云服务形式，向组织及个人进行供应。

3.2

标准数据集standarddataset

本文件指可以以公开的方式获得的，用于训练、验证和测试特定机器学习模型，并符合规范要求的

数据集。

3.3

软件工具开发包SDK

由第三方服务商提供的实现软件产品某项功能的工具包

3.4

资源管理resourcemanagement

对各种算力资源进行合理有效的复用、聚合、监控、调度和使用。

3.5

资源切分resourcesegmentation

通过虚拟化等手段将算力资源切分成不同的粒度，并灵活地按需分配。

1

T/SHSIC0101—2023

3.6

资源聚合resourceaggregation

对不同来源的算力资源进行有机融合，并创造出新的算力资源的过程。

3.7

资源监控resourcemonitoring

对算力资源被调度和使用情况的监控。

3.8

全栈服务fullstackservice

提供端到端的完整的从IaaS基础架构到PaaS平台再到通用型SaaS服务的算力解决方案。

3.9

第三方兼容third-partycompatibility

对第三方设备、开发框架等的兼容性。

3.10

模型迁移modelporting

将现有模型移植到另一种加速卡平台或转换为其他框架下可运行模型。

4测试规则

4.1测试环境要求

a)测试用例中涉及搭载人工智能加速卡的服务器、测试环境的配置上宜基本一致，需明确和记录

CPU主频、内存、存储、交换机型号，机房温湿度等；

b)测试使用到的测试工具和监控工具宜统一，测试过程、结果的数据采集方式一致；

c)测试用例算法模型和数据集由测试者根据目标选择，封闭模式使用业界公开的算法模型和数

据集（参考附录A），开放模式测试者基于自身行业领域，提供的自定义算法模型和数据集；

d)用于测试的数据集中80%用于训练测试用例，20%用于推理测试用例，其中用于训练用例的数据

集按照70%、15%、15%比例随机划分为模型训练的训练集、验证集和测试集。

4.2训练测