《智能终端大模型应用评估规范》.doc

T/TAFXXX—XXXX

PAGEII

团体标准

T/TAFXXX—XXXX

智能终端大模型应用评估规范

EvaluationspecificationforLLMsapplicationsonsmartterminals

XXXX-XX-XX发布

XXXX-XX-XX实施

电信终端产业协会发布

ICS33.050

CCSM30

T/TAFXXX—XXXX

PAGEI

目??次

TOC\o1-3\h\u11686前言 II

129191范围 1

245182规范性引用文件 1

15073术语和定义 1

300864缩略语 1

58655评估框架 2

187505.1智能终端大模型应用评估基本框架 2

8865.2模型性能 2

253665.3应用能力 3

213895.4核心场景 3

260056评估方法概述 3

43216.1总体要求 3

19906.2评估方与被评估方 3

86846.3选择评估指标 3

189076.4制定评估计划 4

219436.5模型评测 4

298787模型性能 4

141917.1模型体积 4

66097.2内存占用峰值 4

56257.3响应时间 4

94877.4功耗 5

45768应用能力 5

303548.1语言类应用 5

90868.2图像类应用 9

192398.3语音类应用 12

277778.4多模态类应用 14

54569核心场景 15

22466附录A（资料性） 17

前??言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由电信终端产业协会提出并归口。

本文件起草单位：中国信息通信研究院、OPPO广东移动通信有限公司、荣耀终端有限公司、华为终端有限公司、维沃移动通信有限公司、中兴通讯股份有限公司、北京快手科技有限公司、博鼎实华（北京）技术有限公司。

本文件主要起草人：张沛、翟梦冉、刘恩琦、李根、李辰淑、杜思清、麦睿楷、刘跃、高立发、张宏伟、高斌、刘妍、梁君、李一冉。

PAGE16

智能终端大模型应用评估规范

范围

本文件规定了智能终端大模型应用的评估指标，可用于指导第三方测评机构对生成式AI和大模型相关技术产品的评估、验收等工作。

本文件适用于智能手机、XR、Pad、PC等智能终端产品生成式AI与大模型技术的部署和应用，可不限于本参考框架的指标项或条款项，应符合标准中的定义和规范性描述。

规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T41867-2022信息技术人工智能术语

GSMATS.47AIMobileDeviceRequirementsSpecification

术语和定义

下列术语和定义适用于本文件。

生成式人工智能服务GenerativeArtificialIntelligenceService

基于数据、算法、模型、规则，能够根据使用者提示生成文本、图片、代码、音频、视频等内容的人工智能服务。

大模型LargeModel

指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个及以上的参数。

其中大型模型:通常包含数十亿((10^9))到数百亿((10^{10}))的参数。超大型模型:通常包含数千亿((10^{11}))甚至更多的参数。

缩略语

下列缩略语适用于本文件。

AI:人工智能(ArtificialIntelligence)

APP:应用程序(Application)

BLEU:双语评估替补(BilingualEvaluationUnderstudy)

CLIP:双语评估替补(ConstrastiveLanguage-ImagePre-training)

EM:绝对匹配(ExactMatch)

FID:弗雷谢特初始距离(FréchetInceptionDistance)

MSE:均方误差(MeanSquareError)

PC:个人计算机(PersonalC