《智能终端大模型应用评估规范》.doc

《智能终端大模型应用评估规范》.doc

  1. 1、本文档共25页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

T/TAFXXX—XXXX

PAGEII

团体标准

T/TAFXXX—XXXX

智能终端大模型应用评估规范

EvaluationspecificationforLLMsapplicationsonsmartterminals

XXXX-XX-XX发布

XXXX-XX-XX实施

电信终端产业协会发布

ICS33.050

CCSM30

T/TAFXXX—XXXX

PAGEI

目??次

TOC\o1-3\h\u11686前言 II

129191范围 1

245182规范性引用文件 1

15073术语和定义 1

300864缩略语 1

58655评估框架 2

187505.1智能终端大模型应用评估基本框架 2

8865.2模型性能 2

253665.3应用能力 3

213895.4核心场景 3

260056评估方法概述 3

43216.1总体要求 3

19906.2评估方与被评估方 3

86846.3选择评估指标 3

189076.4制定评估计划 4

219436.5模型评测 4

298787模型性能 4

141917.1模型体积 4

66097.2内存占用峰值 4

56257.3响应时间 4

94877.4功耗 5

45768应用能力 5

303548.1语言类应用 5

90868.2图像类应用 9

192398.3语音类应用 12

277778.4多模态类应用 14

54569核心场景 15

22466附录A(资料性) 17

前??言

本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由电信终端产业协会提出并归口。

本文件起草单位:中国信息通信研究院、OPPO广东移动通信有限公司、荣耀终端有限公司、华为终端有限公司、维沃移动通信有限公司、中兴通讯股份有限公司、北京快手科技有限公司、博鼎实华(北京)技术有限公司。

本文件主要起草人:张沛、翟梦冉、刘恩琦、李根、李辰淑、杜思清、麦睿楷、刘跃、高立发、张宏伟、高斌、刘妍、梁君、李一冉。

PAGE16

智能终端大模型应用评估规范

范围

本文件规定了智能终端大模型应用的评估指标,可用于指导第三方测评机构对生成式AI和大模型相关技术产品的评估、验收等工作。

本文件适用于智能手机、XR、Pad、PC等智能终端产品生成式AI与大模型技术的部署和应用,可不限于本参考框架的指标项或条款项,应符合标准中的定义和规范性描述。

规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。

GB/T41867-2022信息技术人工智能术语

GSMATS.47AIMobileDeviceRequirementsSpecification

术语和定义

下列术语和定义适用于本文件。

生成式人工智能服务GenerativeArtificialIntelligenceService

基于数据、算法、模型、规则,能够根据使用者提示生成文本、图片、代码、音频、视频等内容的人工智能服务。

大模型LargeModel

指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成,拥有数十亿甚至数千亿个及以上的参数。

其中大型模型:通常包含数十亿((10^9))到数百亿((10^{10}))的参数。超大型模型:通常包含数千亿((10^{11}))甚至更多的参数。

缩略语

下列缩略语适用于本文件。

AI:人工智能(ArtificialIntelligence)

APP:应用程序(Application)

BLEU:双语评估替补(BilingualEvaluationUnderstudy)

CLIP:双语评估替补(ConstrastiveLanguage-ImagePre-training)

EM:绝对匹配(ExactMatch)

FID:弗雷谢特初始距离(FréchetInceptionDistance)

MSE:均方误差(MeanSquareError)

PC:个人计算机(PersonalC

文档评论(0)

小狐狸 + 关注
实名认证
内容提供者

资料来源网络,仅供学习交流,如有侵权,请【私信】删除!

版权声明书
用户编号:5313124133000044

1亿VIP精品文档

相关文档