网络安全技术 生成式人工智能数据标注安全规范 征求意见稿.pdf

GB/TXXXXX—XXXX

网络安全技术

生成式人工智能数据标注安全规范

1范围

本标准规定了生成式人工智能训练的数据标注基础安全要求、数据标注规则安全要求、标注人员

要求、数据标注核验要求和标注安全测试方法。

本标准适用于生成式人工智能数据标注方开展训练数据标注活动，也可为生成式人工智能数据需

求方对于数据标注进行检查、验收或第三方机构对数据标注进行安全性评估提供参考。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文

件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适

用于本文件。

GB/T42755-2023人工智能面向机器学习的数据标注规程

3术语和定义

下列术语和定义适用于本文件。

3.1

提示信息prompt

引导生成式人工智能模型完成特定任务并提供合理输出内容的输入信息。

3.2

响应信息response

在生成式人工智能数据标注中，按照提示信息要求形成的符合人类认知的应答信息，用于训练模

型形成对提示信息输出相应内容、模式或风格的响应的能力。

3.3

生成式人工智能数据标注generativeartificialdataannotation

通过人工操作或使用自动化技术机制，基于对提示信息的响应信息内容，将特定信息如标签、类

别或属性添加到文本、图片、音频、视频或者其他数据样本的过程。

注：以下简称“数据标注”。

3.4

功能性数据标注functionaldataannotation

用于训练生成式人工智能模型具备完成特定任务能力的数据标注。

2

GB/TXXXXX—XXXX

3.5

安全性数据标注securitydataannotation

用于训练生成式人工智能模型提升输出响应信息安全性的数据标注。

3.6

微调训练数据标注fine-tuningdataannotation

训练生成式人工智能模型具备完成特定任务或输出安全响应信息能力的数据标注。

3.7

偏好数据标注comparisondataannotation

针对同一个提示信息的正反例或多个不同的响应信息，标注人员根据偏好给出打分或者排序标注

的数据标注，通过强化学习等方式提升生成式人工智能模型的性能或安全性。

注：反例数据通过强化学习等学习范式，训练模型降低输出类似反例响应的概率。

3.8

标注规则annotationrules

生成式人工智能模型数据标注时所遵循的方法、要求的统称。

3.9

数据标注人员annotator

执行标注任务、产出标注内容的人员。

3.10

标注审核人员annotationreviewer

对初始化标注结果进行质量控制的人员。

3.11

标注仲裁人员annotationarbitrator

当多名标注人员对同一标注对象的标注结果不一致或存在争议时，负责给出最终标注结果的人员。

3.12

标注监督人员annotationsupervisor

对标注活动进行监督，判定数据标注活动是否符合各项要求的人员。

3.13

数据标注方dataannotator

组织数据标注人员开展数据标注活动、对标注质量有直接责任的人员或机构。

3.14

数据需求方datarequester

提出数据标注需求的人员或机构。

[来源：GB/T42755-2023，定义3.4]

3