大语言模型驱动下数据资产治理框架与训练数据质量工程优化.docxVIP

大语言模型驱动下数据资产治理框架与训练数据质量工程优化

目录

一、构建数据资产治理框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1大语言模型对数据资产治理的特性需求分析．．．．．．．．．．．．．．．．2

1.2数据资产治理核心要素与治理组织机制研究．．．．．．．．．．．．．．．．3

1.3支撑数据资产治理的技术工具与平台建设方案．．．．．．．．．．．．．．6

二、探索训练数据质量保障体系建设．．．．．．．．．．．．．．．．．．．．．．．．．10

2.1基于大语言模型的应用场景驱动的数据标准规范制定．．．．．．．10

2.2训练数据全生命周期质量管理机制设计．．．．．．．．．．．．．．．．．．．13

2.3训练数据质量评估与监控机制建模．．．．．．．．．．．．．．．．．．．．．．．16

2.3.1基于统计分析的模型输入数据质量评估方法．．．．．．．．．．．．．18

2.3.2训练集、测试集数据质量分离与控制策略．．．．．．．．．．．．．．．20

三、研究训练数据质量工程优化方法．．．．．．．．．．．．．．．．．．．．．．．．．23

3.1利用大语言模型能力辅助数据质量提升的技术路径．．．．．．．．．23

3.1.1应用模型进行语义消歧的数据清洗技术．．．．．．．．．．．．．．．．．29

3.1.2基于模型的低质量数据检测与