人工智能 预训练模型 第2部分：评测指标与方法.pdfVIP

人工智能第2部分：评测指标与方法

1范围

本文件规定了预训练模型评测内容、指标设置和评测方法。

本文件适用于模型提供者、应用服务者和应用消费者等对预训练模型能力进行评估与测试，也可以

为预训练模型的设计、开发、应用提供参考。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T41867-2022信息技术人工智能术语

GB/T42755-2023人工智能面向机器学习的数据标注规程

GB/TXXXXX.1-XXXX人工智能预训练模型第1部分：通用要求

3术语和定义

GB/T41867-2022和GB/TXXXXX.1-XXXX界定的术语和定义适用于本文件。

4缩略语

下列缩略语适用于本文件。

BLEU：双语评估替补（BilingualEvaluationUnderstudy）

API：应用编程接口（ApplicationProgrammingInterface）

5评测指标

5.1评测维度

本文件对预训练模型通用能力进行评测，主要分为理解、生成、安全3个评测维度，共44个典型任

务。针对每一个典型任务，本文件规定了对应的评测内容和评测方法。

5.2理解能力评测指标

5.2.1概述

预训练模型理解能力评测主要分为单模态和多模态维度，单模态维度主要包括文本、图像、音频3

个二级维度。多模态维度主要包括图文、文音、图音、图文音4个二级维度。理解能力评测维度和典型

任务见表1。

1

表1理解能力评测维度和说明

序一级维二级维

典型任务说明

号度度

将文本划分为不同的类别或标签。可以应用于

1.文本分类垃圾邮件过滤、情感分析、新闻分类等应用场

景。

识别文本中的实体，如人名、地名、组织机构、

2.命名实体识别

日期等。

指模型能够根据文本内容，完成内容、实体、

3.信息抽取

事件、属性、关系等信息的抽取。

指理解和应用数学概念、原理来解决涉及数学

4.数学推理运算问题的能力。如解析表达式、图形识别、

公式推导等。

指模型在文本模态中识别和计算因果关系的能

5.文本因果推理

力。

模型能对不会显式阐述的问题进行理解分析，

6.常识推理

给出正确的回答。

指模型能够将复杂任务分解为多个步骤，并合

7.任