人工智能服务器系统测试代码公开规则、场景说明、能效和效率指标、AUTOML训练测试、工具AISBench示例.pdfVIP

GB/TXXXXX—XXXX

附录A

（规范性）

测试代码公开规则

A.1通则

测试代码公开，应按以下规则执行：

a）测试代码公开流程，包含：

1)公开条件检查：测试者确认测试结果有效性，应符合6.1.3及7.1.3的规定；

2)公开协议检查：代码公开前，按协议检查并实施公开事项。未签署协议的，按本文件的规

定实施；

注：测试者与被测者宜在测试前或测试后签订的代码公开协议。

3)代码公开：公布于测试者与被测者商定的场所或网络媒体；

4)结束公开：在规定的公开周期后，结束公开，原公开场所、媒体上，代码将不可访问。代

码结束公开时，代码公开协议即告结束。

b）公开义务：

1)测试代码可向测试者及组织成员公开。具备合法访问权限时，组织、成员应能浏览、下载；

2)被测者不负责向测试者及组织成员之外的机构、团体、企业及个人解释、讲解代码原理或

实施结果复现事项；

3)已达成协议的不公开部分，不应公开；

4)测试代码公开，可不包含：

——被测者私有的工具源码（如模型格式转化、部署），该源码功能不含a提出的项目；

——被测者使用的公共网络可见的程序源码，但需在测试代码中注明（如：//ref:[源码

包名_版本，地址]）。

A.2训练测试代码公开规则

训练测试代码公开，应在符合A.1规定的基础上，包含以下功能的实现：

a）网络构造；

b）测试工具函数调用（含指标计算，计时，日志，测试起止，校验等）；

c）日志生成；

d）训练数据获取；

e）训练数据读入；

f）训练数据预处理；

g）训练启动过程（含学习率调整）；

h）训练过程（含训期循环，损失函数调用，精度转化（如实施），模型、数据（在被测系统内）

传输指令等）；

i）配置文件；

j）模型保存。

A.3推理测试代码公开规则

推理测试代码公开，应在符合A.1规定的基础上，附加包含以下功能的实现代码：

34

GB/TXXXXX—XXXX

a）测试工具约定的待实现部分（如能耗计量，数据提供，结果取出等）；

b）测试工具函数调用（含作业到达模式，计时，日志，测试起止，校验等）；

c）计算、存储资源管理（如资源申请和释放）；

d）推理过程；

e）日志生成；

f）测试集获取；

g）数据预处理（如实施了预处理）；

h）数据后处理（如实施了后处理）；

i）配置文件；

j）模型格式转化（至少应公开调用语句）；

k）模型部署（至少应公开调用语句）；

l）推理结果保存。

35

GB/TXXXXX—XXXX

附录B

（资料性）

测试场景说明

B.1图像识别

图像识别是利用计算机处理、分析和理解图像的过程，以识别图像中的目标和对象。图像识别过程

的输入一般是特定格式的图像，输出可包含图像的类别（假设已有预先定义的类别集合），特性（如物

体的颜色，人的性别、年龄等）或其他业务逻辑所关心的信息。图像识别，广泛的应用于各类视觉系统

（如安检，工业制造流水线，农业养殖，电力巡检，医疗诊断