《人工智能 大规模预训练模型总体技术要求及评估方法》.pdf

ICS35.240

CCSL70

团体标准

T/ISCXXX—XXXX

人工智能大规模预训练模型总体技术要

求及评估方法

Artificialintelligence—Technicalrequirementsandtestingmethodsforlargescale

pre-trainedmodel

（征求意见稿）

2024-10-20

XXXX-XX-XX发布XXXX-XX-XX实施

中国互联网协会发布

T/ISCXXX—XXXX

目次

前言II

引言III

1范围1

2规范性引用文件1

3术语和定义1

4符号和缩略语3

5概述3

6大规模预训练模型系统参考架构4

6.1参考架构4

6.2系统角色5

7大规模预训练模型系统技术要求5

7.1基础设施层5

7.2数据层6

7.3模型层6

7.4应用层7

7.5系统安全8

8大规模预训练模型能力评估方法8

8.1评估框架8

8.2评估指标9

8.3评估数据集要求11

8.4评估流程11

附录A（资料性）评估指标13

A.1客观评估指标13

A.2主观评估指标14

A.3主观指标评分方法15

附录B（资料性）评估数据集17

B.1通用评估数据集17

B.2行业评估数据集20

附录C（资料性）通信行业评估示例21

C.1确定评估对象21

C.2确定评估能力项、任务项及评估指标21

C.3确定评估数据集和评估方式23

C.4输出评估结果23

参考文献24

I

T/ISCXXX—XXXX

人工智能大规模预训练模型总体技术要求及评估方法

1范围

本文件规定了大规模预训练模型系统参考架构及技术要求、大规模预训练模型系统角色、大规模

预训练模型能力评估方法。

本文件适用于人工智能大规模预训练模型的设计、研发、评估和应用。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文

件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适

用于本文件。

GB/T41867-2022信息技术人工智能术语

AIIA/PG0074-2022大规模预训练模型技术和应用评估方法第4部分：可信要求

AIIA/PG0141-2024人工智能开发平台通用能力要求第4部分：大模型技术要求

3术语和定义

3.1

大规模预训练模型large-scalepre-trainedmodel

使用大规模数据集通过训练得到的，具备大参数量的深度学习模型。

3.2

大规模预训练模型系统