大规模语言模型训练的数据治理框架与实践.docxVIP

大规模语言模型训练的数据治理框架与实践

目录

一、文档概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、数据全生命周期管理体系架构设计．．．．．．．．．．．．．．．．．．．．．．．．3

2.1总体架构规划．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.2核心治理域划分．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.3治理流程标准化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

三、多源异构数据的汇聚与清洗策略．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.1数据来源的多元化整合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.2数据清洗与去噪技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.3数据增强与扩充方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

四、数据质量评估与标准化体系建设．．．．．．．．．．．．．．．．．．．．．．．．．17

4.1质量评价维度的确立．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

4.2自动化质量检测流水线．．．．