T∕TAF 255-2024 智能终端大模型应用评估规范.docxVIP

ICS33.050CCSM30

团体标准

T/TAF255—2024

智能终端大模型应用评估规范

EvaluationspecificationforLLMsapplicationsonsmartterminals

2024-11-01发布2024-11-01实施

电信终端产业协会发布

TTAF255—2024

I

目次

前言 II

1范围 1

2规范性引用文件 1

3术语和定义 1

4缩略语 1

5评估框架 2

5.1智能终端大模型应用评估基本框架 2

5.2模型性能 2

5.3应用能力 2

5.4核心场景 2

6评估方法概述 3

6.1总体要求 3

6.2评估方与被评估方 3

6.3选择评估指标 3

6.4制定评估计划 3

6.5模型评测 3

7模型性能 4

7.1模型体积 4

7.2内存占用峰值 4

7.3响应时间 4

7.4功耗 4

8应用能力 5

8.1语言