《高质量数据集 东盟国家语料 建设规范》征求意见稿.docx

1

T/XXXXXXX—XXXX

高质量数据集东盟国家语料建设规范

1范围

本文件提供了高质量数据集东盟国家语料建设全生命周期的指导和建议，规定了建设规划、语料采集、语料预处理、语料标注和语料质检等内容。

本文件适用于高质量数据集东盟国家语料的建设工作。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T3527—2020信息安全技术个人信息安全规范

GB/T36344—2018信息技术数据质量评价指标

GB/T42755人工智能面向机器学习的数据标注规程

3术语和定义

GB/T42755界定的以及下列术语和定义适用于本文件。

3.1

语料corpus

指在语言的实际使用中真实出现过的语言材料，用于训练人工智能模型的数据集。3.2

数据标注datalabeling

给数据样本指定目标变量和赋值的过程。

[来源：GB/T42755-2023，3.1]

3.3

监督微调supervisedfine-tuning

监督微调是训练大语言模型的关键阶段。通过使用高质量的、人工标注的指令-回答对数据集对模型进行有监督的微调。

3.4

基于人类反馈的强化学习rei