AI 增强的数据工作流的元数据管理.pdfVIP

AI增强的数据工作流的元数据管理

JinjinZhaoSanjayKrishnan

j2zhao@skr@

UniversityofChicagoUniversityofChicago

Chicago,IL,USAChicago,IL,USA

摘要Intelligentagents;Knowledgerepresentationandreason-

ing.

AI增强的数据工作流引入了复杂的治理挑战，因为人

和模型驱动的过程都会生成、转换和消费数据工件。

这些工作流程融合了异构工具、动态执行模式和不透Keywords

明的模型决策，使得全面捕获元数据变得困难。在这LLM代理，ETL系统，出处，数据帧，文档检索

本项工作中，我们提出了TableVault，这是一个专为人类ACMReferenceFormat:

译AI协作数据创建设计的元数据治理框架。TableVaultJinjinZhaoandSanjayKrishnan.2025.AI增强的数据工作流的

中记录摄取事件，跟踪操作状态，将执行参数与其数据元数据管理.InProceedingsoftbd.(tbd.’25).ACM,NewYork,NY,

1来源链接起来，并暴露一个标准化的元数据层。通过USA,10pages./3735079.3735321

v结合数据库启发的保证和面向AI的设计，例如声明

41介绍

1性操作构建器和了解谱系的引用，TableVault支持跨

8

6混合人类-模型管道的透明性和可重复性。通过一个文数据生成的复杂性随着参与生成单一数据制品的框架、

0.档分类案例研究，我们展示了如何使用TableVault保系统和人员数量的增加而急剧增长。在经典的企业数

8持详细的谱系和操作上下文，即使在部分可观测执行据中，单个作者实体监督了整个数据集的生命周期，

0

5环境中也能实现强大的元数据管理。设计模式，建立收集协议，执行正确性标准，并且经常

2

:运行完整的分析管道。随着互联网的发展，半集中化

v

iCCSConcepts的数据集生产出现，组织开始利用外部资源来扩大其

x

r数据的规模、丰富性和时效性。网络爬虫、社交媒体监

a•Theoryofcomputation→Dataprovenance;•In-

控和亚马逊土耳其机器人等众包平台将新的参与者引

formationsystems→Storagemanagement;•Com-入到数据生成过程中。[12]。虽然这极大地增加了可用

putingmethod