智能终端大模型计算性能基准评测方法.pdfVIP

ICS33.060

CCSM37

团体标准

T/TAFXXX-XXXX

智能终端大模型计算性能基准评测方法

BenchmarktestmethodsforsmartterminalLLMscomputingperformance

XXXX-XX-XX发布XXXX-XX-XX实施

电信终端产业协会发布

T/TAFXXX—XXXX

目  次

前言III

1范围1

2规范性引用文件1

3术语和定1

3.1术语Error!Bookmarknotdefined.

4缩略语1

5测试架构2

5.1概述2

5.2基准大模型2

5.3大模型算子2

5.4推理数据集2

5.5终端推理框架2

5.6终端硬件层3

5.7指标监测3

6测试环境3

7通用测试指标3

7.1推理时延3

7.2内存占用3

7.3功耗3

7.4温升4

8测试方法步骤4

8.1测试准备4

8.2测试布置4

8.3测试执行5

9大模型算子基准评测方法5

9.1被测设备操作系统5

9.2算子调用SDK5

9.3参考实现5

9.4推理指标6

10大模型计算性能基准评测方法6

10.1被测设备操作系统6

10.2推断框架SDK6

10.3前置信息披露6

10.4模型文件6

I

T/TAFXXX—XXXX

10.5参考输出6

10.6测试方法7

II

T/TAFXXX-XXXX

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由电信终端产业协会（TAF）提出并归口。

本文件起草单位：中国信息通信研究院、高通无线通信技术（中国）有限公司、北京三星通信技术

研究有限公司、维沃移动通信有限公司、翱捷科技股份有限公司、中兴通讯股份有限公司、联想（北京）

有限公司、紫光展锐（上海）科技有限公司、博鼎实华（北京）技术有限公司、中国移动通信集团终端

有限公司、上海移芯通信科技股份有限公司。

本文件主要起草人：刘恩琦、王健宇、周奎翰、刘洋、王彬、高立发、李维成、龙迪、张宏伟、沙

通、李丛蓉、马凡、张伟、梁恒康。

III

T/TAFXXX—XXXX

智能终端大模型计算性能基准评测方法

1范围

本文件规定了智能终端大模型计算性能基准测评指标、测试方法。面向终端运算设备（芯片、智能手机、

平板电脑、等设备）设计基准测试集，测试终端运算设备的计算性能。

本文件适用于智能手机、可穿戴设备、平板电脑、个人计算机等智能终端产品生成式AI与大模型技术的

部署和应用，可不限于本参考框架的指标项或条款项，应符合标准中的定义和规范性描述。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少