大语言模型训练数据规范管理与应用准则.docxVIP

大语言模型训练数据规范管理与应用准则

目录

一、总则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、资料采集与获取．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

来源渠道规范．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

采集流程管控．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

第三方数据合规．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

三、数据预处理与治理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

去噪与重复剔除．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

结构化与标准化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

个人信息脱敏．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

四、标注作业与质量把控．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

标记流程指引．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

多轮校验机制．