《移动智能终端AI能力评估方法》.doc

TAF-WG4AS0001-V1.0.0

PAGE30

团体标准

T/TAFXXX—XXXX

移动智能终端AI能力评估方法

AIcapabilityevaluationmethodforsmartmobileterminals

XXXX-XX-XX发布

XXXX-XX-XX实施

电信终端产业协会发布

ICS33.060

CCSM37

T/TAFXXX—XXXX

T/TAFXXX—XXXX

PAGE31

目次

TOC\o1-5\h\u前言 II

1范围 1

2规范性引用文件 1

3术语和定义 1

4缩略语 2

5评估框架 2

6端侧大模型 4

6.1端侧大语言模型 4

6.2端侧CV模型 4

7AI基础能力 4

7.1语言处理能力 4

7.2图像处理能力 7

8AI智能服务与应用 9

8.1通话辅助 9

8.2文本处理 13

8.3图像处理与生成 19

8.4信息管理 27

9智能人机交互 28

9.1意图识别人机交互 28

10智能体 29

10.1智能体应用功能 29

10.2智能体应用能力 29

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由电信终端产业协会提出并归口。

本文件起草单位：中国信息通信研究院、荣耀终端有限公司、OPPO广东移动通信有限公司、华为终端有限公司、维沃移动通信有限公司、珠海市魅族科技有限公司、高通无线通信技术（中国）有限公司、翱捷科技股份有限公司、北京三星通信技术研究有限公司、中兴通讯股份有限公司、紫光展锐（上海）科技有限公司、博鼎实华(北京)技术有限公司。

本文件主要起草人：翟梦冉、张沛、祖廷伟、聂大伟、曾勇波、李辰淑、袁蔚、李根、杜思清、麦睿楷、刘跃、高立发、王江胜、朱景鹏、杨帆、刁浩然、张宇超、李维成、龙迪、吴越、张宏伟、高斌、李丛蓉、李一冉、王轶哲。

移动智能终端AI能力评估方法

范围

本文件规定了移动智能终端AI能力评估方法。

本文件适用于支持大模型应用的手机等移动智能终端。

规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

TAFXXX-XXXX智能终端大模型应用评估规范

GSMATS.47AIMobileDeviceRequirementsSpecification

术语和定义

下列术语和定义适用于本文件。

人工智能ArtificialIntelligence

表现出人类智能（如推理和学习）相关的各种功能的功能单元和能力。

大模型LargeModel

指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个及以上的参数。

其中大型模型:通常包含数十亿((10^9))到数百亿((10^{10}))的参数。超大型模型:通常包含数千亿((10^{11}))甚至更多的参数。

PR曲线Precision-RecallCurve

评估分类模型性能的一种图表，横轴是召回率，纵轴是精确度。

意图式人机交互Intent-basedUI

通过理解用户的意图来提供更自然和高效的交互体验。

跨设备融合cross-deviceintegration

基于共享服务管理框架、跨设备协同决策中心，针对用户互联设备和单设备正在使用的服务向用户提供意图识别能力，实现能力开放与生态接入。

智能体AIAgent

智能体，即人工智能（AI）代理是一个软件程序，它具备独立记忆，能够接受用户指令，可以与环境互动、收集数据，通过分析和学习这些数据执行自我决定的任务以满足预定的目标。终端智能体通过与软件、硬件、服务之间的交互，完成复杂任务，可以充当新的“服务入口”，基于相关信息向终端用户推荐服务（应用）。

缩略语

下列缩略语适用于本文件。

AI：人工智能（ArtificialIntelligence）

AP：平均精度（AveragePrecision）

ASR：语音识别（AutomaticSpeechRecognition）

CV：计算机视觉（ComputerVision）

IOU：交并比（IntersectionoverUnion）

NLP：自然语言处理（Natura