《面向智能手机的端侧大模型技术要求》.docxVIP

TAF-WG4AS0001-V1.0.0

PAGE4

团体标准

T/TAFXXX-XXXX

面向智能手机的端侧大语言模型技术要求

Technicalrequirementsforon-devicelargelanguagemodelforsmartphones

XXXX-XX-XX发布

XXXX-XX-XX实施

电信终端产业协会发布

ICS33.050

M30

PAGE3

目次TOC\o1-3\h\z\u

前言 II

引言 III

1范围 1

2规范性引用文件 1

3术语和定义 1

4缩略语 1

5概述 1

5.1前置条件 1

5.2技术要求指标 2

6模型性能 2

6.1加载时延 2

6.2推理速度-首词响应 2

6.3出词速度 3

6.4内存占用 3

6.5增量功耗 4

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由电信终端产业协会（TAF）提出并归口。

本文件起草单位：中国信息通信研究院、维沃移动通信有限公司、中国移动通信集团终端有限公司、华为终端有限公司、中兴通讯股份有限公司、安谋科技(中国)有限公司、翱捷科技股份有限公司、荣耀终端股份有限公司、OPPO广东移动通信有限公司、高通无线通信技术（中国）有限公司、深圳市腾讯计算机系统有限公司、北京三星通信技术研究有限公司、珠海市魅族科技有限公司、青岛海信移动通信技术有限公司、紫光展锐（上海）科技有限公司、联发博动科技（北京）有限公司、博鼎实华（北京）技术有限公司、联想(北京)有限公司。

本文件主要起草人：董千洲、黄云霞、王健宇、傅蓉蓉、高立发、李根、李丛蓉、彭程、潘正。

引?言

在大语言模型席卷全行业的大背景下，移动终端凭借其个人专属化、多模态感知以及强大的通信计算能力，成为未来移动大语言模型的理想载体。随着端侧大语言模型的持续进化，智能终端将不再局限于实现文生文、文生图、文生视频等基础应用，而是逐步发展为一个全方位的“移动智能体”。它不仅能够完成通信任务，更将成为人工智能的最佳载体，为用户开启一个崭新的AI交互领域。各大终端品牌厂商纷纷加大在大语言模型端侧部署方面的创新力度，领先的芯片厂商也在不断提升移动平台的AI能力。

大语言模型技术不断深化与落地，轻量化、多模态等技术的持续升级，有效推动了端侧智能的发展。通过将计算任务从云端迁移到终端，端侧智能具备了更高的独立性、低时延和高可靠性，逐渐成为实现万物智能的关键途径，能够更好地满足大语言模型在隐私保护、实时响应、网络负载和灵活部署等方面的需求。构建面向智能手机的端侧大语言模型技术，不仅能够提升用户体验，减少对云端计算的依赖，促进技术创新和发展，还能满足行业对数据安全和隐私保护的严格要求。随着技术的不断成熟与应用的持续拓展，端侧大语言模型将在未来发挥更加重要的作用。

为了规范和评估终端侧大语言模型应用场景和任务，提高消费者用户的使用体验，亟待相关标准制定工作，规范并促进大语言模型在智能手机上的应用，促进国内相关行业的发展。

面向智能手机的端侧大语言模型技术要求

范围

本文件规定了面向智能手机的端侧大语言模型技术要求。

本文件适用于指导模型开发商、第三方测评机构对端侧大语言模型进行模型能力进行测试评估等工作。

规范性引用文件

本文件无规范性引用文件。

术语和定义

下列术语和定义适用于本文件。

端侧大语言模型on-devicelargelanguagemodel

部署在端侧的大语言模型，一种规模庞大、基于大量数据训练得到参数众多的模型，主要用于处理文本相关任务，如文本生成、分类、翻译等，通过对大量文本数据进行学习来提升在相应文本任务中的性能且具备一定泛化性的深度学习模型。

缩略语

下列缩略语适用于本文件：

GB：吉字节（Gigabyte）

INT：整数（Integer）

NPU：神经网络处理器（NeuralNetworkProcessingUnit）

概述

前置条件

5.1.1端侧大语言模型部署

本文件不规定端侧大语言模型部署方式和推理框架，智能手机内置大语言模型本文件不考虑。

5.1.2端侧大语言模型体积

大语言模型体积指大语言模型部署在端侧时的空间占用。

计算方法：记录模型文件在端侧所占用的存储空间大小，单位GB。

表1所示为模型参数量在1B及以下、1B-3B、3B及以上的模型INT4与I