大语言模型训练数据治理标准.docxVIP

大语言模型训练数据治理标准

目录

文档概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

总体要求．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.1数据治理原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.2数据质量标准．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.3数据安全规范．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

数据收集与整理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

3.1数据来源规范．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

3.2数据采集流程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.3数据清洗与预处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

数据标注与标注规范．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

4.1标注原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．