《面向智能手机的端侧大模型技术要求》.pdfVIP

ICS33.050

M30

团体标准

T/TAFXXX-XXXX

面向智能手机的端侧大语言模型技术要求

Technicalrequirementsforon-devicelargelanguagemodelfor

smartphones

XXXX-XX-XX发布XXXX-XX-XX

电信终端产业协会发布

T/TAFXXX-XXXX

目次

前言II

引言III

1范围1

2规范性引用文件1

3术语和定义1

4缩略语1

5概述1

5.1前置条件1

5.2技术要求指标2

6模型性能2

6.1加载时延2

6.2推理速度-首词响应2

6.3出词速度3

6.4内存占用3

6.5增量功耗4

I

T/TAFXXX-XXXX

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由电信终端产业协会（TAF）提出并归口。

本文件起草单位：中国信息通信研究院、维沃移动通信有限公司、中国移动通信集团终端有限公司、

华为终端有限公司、中兴通讯股份有限公司、安谋科技(中国)有限公司、翱捷科技股份有限公司、荣耀

终端股份有限公司、OPPO广东移动通信有限公司、高通无线通信技术（中国）有限公司、深圳市腾讯计

算机系统有限公司、北京三星通信技术研究有限公司、珠海市魅族科技有限公司、青岛海信移动通信技

术有限公司、紫光展锐（上海）科技有限公司、联发博动科技（北京）有限公司、博鼎实华（北京）技

术有限公司、联想(北京)有限公司。

本文件主要起草人：董千洲、黄云霞、王健宇、傅蓉蓉、高立发、李根、李丛蓉、彭程、潘正。

II

T/TAFXXX-XXXX

引 言

在大语言模型席卷全行业的大背景下，移动终端凭借其个人专属化、多模态感知以及强大的通信计

算能力，成为未来移动大语言模型的理想载体。随着端侧大语言模型的持续进化，智能终端将不再局限

于实现文生文、文生图、文生视频等基础应用，而是逐步发展为一个全方位的“移动智能体”。它不仅

能够完成通信任务，更将成为人工智能的最佳载体，为用户开启一个崭新的AI交互领域。各大终端品

牌厂商纷纷加大在大语言模型端侧部署方面的创新力度，领先的芯片厂商也在不断提升移动平台的AI

能力。

大语言模型技术不断深化与落地，轻量化、多模态等技术的持续升级，有效推动了端侧智能的发展。

通过将计算任务从云端迁移到终端，端侧智能具备了更高的独立性、低时延和高可靠性，逐渐成为实现

万物智能的关键途径，能够更好地满足大语言模型在隐私保护、实时响应、网络负载和灵活部署等方面

的需求。构建面向智能手机的端侧大语言模型技术，不仅能够提升用户体验，减少对云端计算的依赖，

促进技术创新和发展，还能满足行业对数据安全和隐私保护的严格要求。随着技术的不断成熟与应用的

持续拓展，端侧大语言模型将在未来发挥更加重要的作用。

为了规范和评估终端侧大语言模型应用场景和任务，提高消费