人工智能 大规模预训练模型总体技术要求及评估方法（征求意见稿）.docx

ICS35.240CCSL70

团体标准

T/ISCXXX—XXXX

人工智能大规模预训练模型总体技术要求及评估方法

Artificialintelligence—Technicalrequirementsandtestingmethodsforlargescale

pre-trainedmodel

（征求意见稿）

2024-10-20

XXXX-XX-XX发布

中国互联网协会

XXXX-XX-XX实施

发布

T/ISCXXX—XXXX

I

目次

前言 II

引言 III

1范围 1

2规范性引用文件 1

3术语和定义 1

4符号和缩略语 3

5概述 3

6大规模预训练模型系统参考架构 4

6.1参考架构 4

6.2系统角色 5

7大规模预训练模型系统技术要求 5

7.1基础设施层 5

7.2数据层 6

7.3模型层 6

7.4应用层 7

7.5系统安全 8

8大规模预训练模型能力评估方法 8

8.1评估框架 8

8.2评估指标 9

8.3评估数据集要求 11

8.4评估流程 11

附录A（资料性）评估指标 13

A.1客观评估指标 13

A.2主观评估指标 14

A.3主观指标评分方法 15

附录B（资料性）评估数据集 17

B.1通用评估数据集 17

B.2行业评估数据集 20

附录C（资料性）通信行业评估示例 21

C.1确定评估对象 21

C.2确定评估能力项、任务项及评估指标 21

C.3确定评估数据集和评估方式 23

C.4输出评估结果 23

参考文献 24

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由中国信息产业商会团体标准专业委员会提出并归口。

本文件起草单位：

本文件主要起草人：

本文件及其所代替文件的历次版本发布情况为：

——

T/ISCXXX—XXXX

III

引言

近年来，随着数据资源的不断丰富以及深度学习计算能力的不断提升，大模型具备了强大的表征能力，在自然语言处理、图像识别、语音识别等领域都展现出了强大的性能和广泛的应用价值，正逐渐成为人工智能领域的研究热点和产业应用焦点。随着产业界的深入参与和合作，大模型的研发和应用从聚焦基础设施构建、数据获取、模型训练及部署等方面技术突破和工程化落地，到关注领域应用、行业应用等方面大模型服务能力评估。然而，针对整个大模型系统，业界还缺乏规范性的技术要求及评估体系，使得不同的研究机构和企业对大规模预训练模型系统难以开展标准化的评估。

制定一个统一、科学的大模型评估标准可以提供统一的标准化的功能与性能指标用于评估不同供应商研发生成的大模型，保证评估结果的客观性、准确性和可靠性，为人工智能大模型的采购方和应用方提供可参考的评估依据。促进我国人工智能产业生态的健康发展和行业的良性竞争。

T/ISCXXX—XXXX

1

人工智能大规模预训练模型总体技术要求及评估方法

1范围

本文件规定了大规模预训练模型系统参考架构及技术要求、大规模预训练模型系统角色、大规模预训练模型能力评估方法。

本文件适用于人工智能大规模预训练模型的设计、研发、评估和应用。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T41867-2022信息技术人工智能术语

AIIA/PG0074-2022大规模预训练模型技术和应用评估方法第4部分：可信要求AIIA/PG0141-2024人工智能开发平台通用能力要求第4部分：大模型技术要求

3术语和定义

3.1

大规模预训练模型large-scalepre-trainedmodel

使用大规模数据集通过训练得到的，具备大参数量的深度学习模型。3.2

大规模预训练模型系统large-scalepre-trainedmodelsystem

围绕大规模预训练模型构成的