TTAF-063-2020 移动智能终端人工智能性能基准测试方法.pdf

ICS 33.050.20 M 30 准 T/TAF 063-2020 移动智能终端人工智能性能基准测试方法 Benchmark Test Methods for AI Performance of Intelligent Terminal 2020- 08 - 04 发布 2020 - 08 - 04 实施 会 发布 T/TAF 063-2020 目 次 目 次 I 前 言 II 引言 III 标动智能终端人工智能性能基准测试方法 1 1 范围 1 2 规范性引用文件 1 3 文件清单的排列顺序： 1 4 术语和定义 1 4.1 神经网络模型 1 4.2 推理集 1 4.3 端侧人工智能推理框架 1 4.4 模型转换工具 2 4.5 深度学习编译器 2 4.6 基准测试例 2 4.7 终端硬件 2 5 测试概述 2 5.1 测试构架 2 5.2 通用测试方法 3 5.3 性能指标监测 3 6 图像处理测试方法 3 6.1 图像分类测试方法 3 6.2 人脸识别测试方法 4 6.3 目标语义分割测试方法 5 6.4 图片超分辨率测试方法 6 6.5 目标检测测试方法 7 7 视频处理测试方法 8 7.1 视频目标检测测试 8 附 录 A （规范性附录）标准修订历史 9 附 录 B 图像语义分割测试类别 9 附 录 C 图像超分辨率测试推断集 10 附 录 D 目标检测类别 10 参考文献 13 I T/TAF 063-2020 前 言 本标准按照 给出的规则起草。 II T/TAF 063-2020 引 言 随着人工智能的飞速发展，为满足低响应时间，高安全可靠性以及在任意使用环境下（如无网络） 使用AI场景，一部分AI应用将以部署在终端设备的方式运行，如移动智能手机，平板电脑等。一款智 能移动终端AI处理性能的好坏，一般可以通过基准测试的方式衡量。本标准基于移动终端推理框架技 术，提出一个合理、公平，能反映出终端实际的AI处理能力的基准测试方法，包括对AI基准测试在不 同应用场景的数据集的技术要求，测试方法和评测指标，旨在让终端AI处理性能测试得到可靠的，可 比较的，能体现终端AI处理能力差异的评测结果，推动智能移动终端向AI终端发展。 III T/TAF 063-2020 移动智能终端人工智能性能基准测试方法 1 范围 本标准规定了通过使用端侧人工智能推理框架在移动