大语言模型训练数据治理规范与最佳实践.docxVIP

大语言模型训练数据治理规范与最佳实践

目录

数据治理概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

数据管理标准化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.1数据收集与整理规范．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.2数据标注与清洗标准．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.3数据存储与分发流程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.4数据更新与维护策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

模型训练数据质量控制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

3.1数据多样性保证．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

3.2数据量与质量平衡．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.3数据标注质量评估．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.4数据脱敏与处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

数据使用规