电力系统的大语言模型微调数据准备规范（-2024 征求意见稿）.docxVIP

10

CES

CESXXX

T/CESXXX-

T/CESXXX-X

团 体 标 准

T/CESXXX-XXXX

电力系统的大语言模型微调数据准备规范

DataPreparationRequirementsandStandardsforLargeLanguage

ModelsinthePowerSystembile

ModelsinthePowerSystem

bileterminalintelligentinteractivemulti-rounddialogueprocessspecification

（征求意见稿）

XXXX-XX-XX发布 XXXX-XX-XX实施

中国电工技术学会发布

Ⅱ

T/CESXXX

T/CESXXX-XXXX

目 次

前 言 22

范围 1

规范性引用文件 1

术语和定义 1

缩略语 2

总则 2

数据准备规范 3

数据收集 3

数据格式 3

数据预处理 4

数据转换 4

数据标签与注释 4

数据集划分 4

数据格式化 5

数据集质量评估 5

数据增强 5

数据更新与维护 5

数据隐私和安全 5

大语言模型微调数据准备流程规范 6

Ⅲ

前 言

本文件按照GB/T1.1—2009《标准化工作导则第1部分标准的结构与编写》给出的规则起草。本文件由中国电工技术学会提出。

本文件由中国电工技术学会标准工作委员会能源智慧化工作组归口。

本文件起草单位：国网信息通信产业集团有限公司、国家电网有限公司大数据中心、中国电力科学研究院有限公司、国网智能电网研究院有限公司、北京国网信通埃森哲信息技术有限公司、四川中电启明星信息技术有限公司、国网福建省电力有限公司

本文件主要起草人：李强、赵峰、赵永生、邱镇、陈振宇、李博、刘识、李炳森、黄晓光、秦余、王晓东、张琳瑜、张国梁、刘园园、崔迎宝、王兴涛、卢大玮、吴迪、赵如意、宋卫平、杨帆、高攀、王红蕾、董梅、李欢欢、徐小云、叶林峰、赵林林、王誉博、李扬笛、杨彦、林晨翔

本文件为首次发布。

Ⅲ

T/CESXXX

T/CESXXX-XXXX

1范围

本文件适用于电力系统的大语言模型的数据准备，包括数据的采集、清理、标注、注释和整理等所有环节。此标准的目的在于规范在大语言模型训练中的数据处理过程，以保证数据的可用性、一致性和可追溯性。本文件规定了人工智能大语言模型在电力系统中的微调数据准备规范，本文件共分为数据准备要求、数据准备规范、数据准备流程等。

本文件适用于各单位使用大语言模型技术解决相关业务需求，适用于电力系统人工智能大语言模型的应用开发等业务场景，帮助业务人员以及开发人员完成模型训练、模型微调等相关工作。

规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T5271.28-2001 信息技术词汇第28部分:人工智能基本概念与专家系统

GB/T41867-2022信息技术人工智能术语

术语和定义

下列术语和定义仅适用于本文件。

人工智能ArtificialIntelligence

人工智能是一门交叉学科，通常视为计算机科学的分支，研究表现出与人类智能（如推理和学习）相关的各种功能的模型和系统。

大语言模型LargeLanguageModel

大语言模型也称大型语言模型，是一种人工智能模型，旨在理解和生成人类语言。在大规模文本语料上训练、包含百亿级别（或更多）参数的语言模型。

指令微调InstructionTuning

指令微调是指可以帮助大语言模型实现人类语言指令遵循的能力，在零样本设置中泛化到未见任务上的学习方法。

数据准备DataPreparation

指的是将原始数据进行清洗、转换、标记和结构化以适用于大语言模型的过程。

数据源DataSources

数据源指的是用于训练和应用大语言模型的原始数据，包括但不限于文本、图像、报告和传感器数据。

1

数据预处理DataPreprocessing

数据预处理指的是在得到原始数据之后对数据进行预处理，包括数据清洗、去重、去噪以及数据标准化等步骤。

缩略语

下列缩略语适用于本文件。

Json：JS对象简谱(JavaScriptObjectNotation)

BOM：字节顺序标记(ByteOrderMark)

总则

本文件规定了人工智能大语言模型在电力系统中的微调数据准备规范，本文件共分为数据准备要求、数据准备规范、数据处理流程等。其中数据准备主要用于规范电力系统的大模型在微调训练中的数据收集、数据格式以及数据隐私与安全等，数据准备规范主要用于