大语言模型训练数据治理规范补充完整.docxVIP

大语言模型训练数据治理规范补充完整

目录

文档简述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

总体原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

数据采集与收集．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

3.1数据来源规范．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

3.2数据收集流程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

3.3数据采集标准．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

数据预处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

4.1数据清洗．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

4.2数据标注．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

4.3数据转换．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

数据存储与管理．．．．．．．．．．．．．．．．．．．．．．．．