大语言模型训练数据质量治理框架与标准体系构建.docxVIP

大语言模型训练数据质量治理框架与标准体系构建

目录

内容综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

大语言模型训练数据质量治理概述．．．．．．．．．．．．．．．．．．．．．．．．．．5

数据质量治理框架构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

3.1框架设计原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

3.2框架结构分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

3.3框架实施步骤．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

数据质量评估标准体系构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

4.1评估标准体系设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

4.2评估指标体系构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

4.3评估方法与工具．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

数据清洗与预处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

5.1数据清洗