《智能终端大模型计算性能基准评测方法》.docVIP

T/TAFXXX—XXXX

PAGEII

PAGEI

团体标准

T/TAFXXX-XXXX

智能终端大模型计算性能基准评测方法

BenchmarktestmethodsforsmartterminalLLMscomputingperformance

XXXX-XX-XX发布

XXXX-XX-XX实施

电信终端产业协会发布

ICS33.060

CCSM37

T/TAFXXX—XXXX

T/TAFXXX-XXXX

PAGE6

PAGE7

T/TAFXXX—XXXX

PAGE1

目??次

TOC\o1-3\h\z\u前言 VI

1范围 1

2规范性引用文件 1

3术语和定义 1

3.1术语 1

4缩略语 1

5测试架构 2

5.1概述 2

5.2基准大模型 2

5.3大模型算子 2

5.4推理数据集 2

5.5终端推理框架 2

5.6终端硬件层 3

5.7指标监测 3

6测试环境 3

7通用测试指标 3

7.1推理时延 3

7.2内存占用 3

7.3功耗 3

7.4温升 4

8测试方法步骤 4

8.1测试准备 4

8.2测试布置 4

8.3测试执行 5

9大模型算子基准评测方法 5

9.1被测设备操作系统 5

9.2算子调用SDK 5

9.3参考实现 5

9.4推理指标 6

10大模型计算性能基准评测方法 6

10.1被测设备操作系统 6

10.2推断框架SDK 6

10.3前置信息披露 6

10.4模型文件 6

10.5参考输出 6

10.6测试方法 6

前??言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由电信终端产业协会（TAF）提出并归口。

本文件起草单位：中国信息通信研究院、高通无线通信技术（中国）有限公司、北京三星通信技术研究有限公司、维沃移动通信有限公司、翱捷科技股份有限公司、中兴通讯股份有限公司、联想（北京）有限公司、紫光展锐（上海）科技有限公司、博鼎实华（北京）技术有限公司、中国移动通信集团终端有限公司、上海移芯通信科技股份有限公司。

本文件主要起草人：刘恩琦、王健宇、周奎翰、刘洋、王彬、高立发、李维成、龙迪、张宏伟、沙通、李丛蓉、马凡、张伟、梁恒康。

智能终端大模型计算性能基准评测方法

范围

本文件规定了智能终端大模型计算性能基准测评指标、测试方法。面向终端运算设备（芯片、智能手机、平板电脑、等设备）设计基准测试集，测试终端运算设备的计算性能。

本文件适用于智能手机、可穿戴设备、平板电脑、个人计算机等智能终端产品生成式AI与大模型技术的部署和应用，可不限于本参考框架的指标项或条款项，应符合标准中的定义和规范性描述。

规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T41867—2022信息技术人工智能术语

YD/T4515—2023移动智能终端智能化性能基准测评方法

术语和定义

下列术语适用于本文件。

3.1

人工智能artificialintelligence

表现出于人类智能（如推理和学习）相关的各种功能的功能单元和能力。

3.2

大模型large-scalemodel

基于大量数据训练得到,具有复杂计算架构,能处理复杂任务,且具备一定泛化性的深度学习模型。

注：大模型的参数量由其功能和模态决定,一般不低于1亿。大模型训练使用的数据总量受参数量的影响,达到收敛的大模型的参数量的对数与其训练数据总量的对数成正比。

3.3

生成式人工智能generativeartificialintelligence

基于数据、算法、模型、规则，能够根据使用者提示生成文本、图片、代码、音频、视频等内容的人工智能服务。

3.4

基准测试benchmark

通过设计科学的测试方法、测试工具和测试系统，实现对一类测试对象的某项性能指标进行定量和可对比的测试。

缩略语

下列缩略语适用于本文件。

AI：人工智能（ArtificialIntelligence）

LLM：大语言模型