《智能终端大模型应用评估规范》.doc

T/TAFXXX—XXXX

PAGEII

团体标准

T/TAFXXX—XXXX

智能终端大模型应用评估规范

EvaluationspecificationforLLMsapplicationsonsmartterminals

XXXX-XX-XX发布

XXXX-XX-XX实施

电信终端产业协会发布

ICS33.050

CCSM30

T/TAFXXX—XXXX

PAGE16

PAGEI

智能终端大模型应用评估规范

范围

本文件规定了智能终端大模型应用的评估指标，可用于指导第三方测评机构对生成式AI和大模型相关技术产品的评估、验收等工作。

本文件适用于智能手机、XR、Pad、PC等智能终端产品生成式AI与大模型技术的部署和应用，可不限于本参考框架的指标项或条款项，应符合标准中的定义和规范性描述。

规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T41867-2022信息技术人工智能术语

GSMATS.47AIMobileDeviceRequirementsSpecification

术语和定义

下列术语和定义适用于本文件。

生成式人工智能服务GenerativeArtificialIntelligenceService

基于数据、算法、模型、规则，能够根据使用者提示生成文本、图片、代码、音频、视频等内容的人工智能服务。

大模型LargeModel

指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个及以上的参数。

其中大型模型:通常包含数十亿((10^9))到数百亿((10^{10}))的参数。超大型模型:通常包含数千亿((10^{11}))甚至更多的参数。

缩略语

下列缩略语适用于本文件。

AI:人工智能(ArtificialIntelligence)

APP:应用程序(Application)

BLEU:双语评估替补(BilingualEvaluationUnderstudy)

CLIP:双语评估替补(ConstrastiveLanguage-ImagePre-training)

EM:绝对匹配(ExactMatch)

FID:弗雷谢特初始距离(FréchetInceptionDistance)

MSE:均方误差(MeanSquareError)

PC:个人计算机(PersonalComputer)

PSNR:峰值信噪比(PeakSignal-to-NoiseRatio)

ROUGE:以召回率为导向的摘要评价方法(Recall-OrientedUnderstudyforGistingEvaluation)

SER:句误率(SentenceErrorRatio)

SSIM:结构相似性系数(StructureSimilarityIndexMeasure)

WER:词误率(WordErrorRatio)

XR:拓展现实(ExtendedReality)

评估框架

智能终端大模型应用评估基本框架

本文件围绕智能终端相关模型性能、大模型应用能力和核心场景三个维度，规范了智能终端大模型应用的通用评估框架和方法,评估基本框架见图1。

图1智能终端大模型应用评估基本框架

模型性能

模型性能方面，从模型的体积，推理时的响应时间、内存占用及功耗等对生成式AI和大模型性能进行评估。

应用能力

应用能力方面，通过语言类、图像类、语音类及多模态类四个领域多个子任务的能力评估，综合反映终智能终端大模型应用的技术性能。

核心场景

智能终端大模型应用的核心场景方面，从可用性、丰富性、专业性三个维度进行评估，涵盖创作、工作、教育、生活、医疗、出行等核心场景。

评估方法概述

总体要求

终端生成式AI和大模型应用评估流程应符合图2的规定，包括确定评估目标、选择评估指标、制定评估计划、实施评估方案及得出评估结论五个部分，见图2。

图2终端大模型应用评估流程图

评估方与被评估方

应考虑以下方面，确定评估方和被评估方：

a)被评估方可为符合国家法律法规要求的，基于大模型技术开发的、通过智能终端提供服务的应用，包含系统级应用、第三方APP应用等。

b)评估方可为智能终端设备或APP的开发者和运营者，也可为第三方实验室。

选择评估指标

评估方依据被评估方提供的技术说明文档等材料，结合被评估方提供的终端设备样品及终端声明支持的大模型应用，依据材料中涉及