T_CAPT 011—2024(新闻行业大规模预训练模型语言模型评测要求).pdf

ICS35.240

CCSL70

CAPT

团体标准

T/CAPT011—2024

台

平

息

新闻行业大规模预训练模型语言模型

信

评测要求

准

NewsIndustry—Large-scalepre-trainedmodels—Requirementsforlanguagemodel

evaluation

标

体

团

国

全

11218

2024-2-18发布2024--实施

中国新闻技术工作者联合会  发布

T/CAPT011—2024

目次

前言II

台

引言III

1范围1

2规范性引用文件1

平

3术语和定义1

4评测指标1

4.1概述2

4.2性能评测指标2

息

4.3内容评测指标4

5评测方法5

5.1评测流程5

信

5.2评测数据集5

5.3评测结果获取工具5

5.4自动化评测方法5

5.5人工评测方法6

准

6内容评测指标权重6

附录A（规范性）评测指标档次界定8

附录B（资料性）自动化评测方法示例10

标

B.1自动化评测标准格式示例10

B.2指令跟随评测示例10

附录C（规范性）单项评测的指标权重12

体

C.1媒体文本创作类单项评测指标权重12

C.2媒体文本编辑类单项评测指标权重15

C.3媒体文本理解类单项评测指标权重17

C.4媒体数据增强类单项评测指标权重18

团

参考文献19

国

全

I