4赵恒-开源Data engineering agent之路.pdfVIP

开源Dataengineering

agent之路

byHarrisonzhao

Harrison.zhao@datus.ai

WhyDoDataAgentsKeepFailing?

问题：真实世界对准确率要求极⾼。最关键的领域知识在⼯程师脑⼦⾥，对AI不可⻅

Dead-loop：没反馈→没改进→低使⽤→更少反馈

数据⼯程师是最理想的HITL（Human-in-the-loop）⽤户，可以校验、修正、引导Agent

FromSQLWritertoContextEngineer

•ContextualDataEngineering：

•构建“可演化的上下⽂层”

•统⼀管理：metadata/SQL/语义模型/指标

•同时服务⼈类和Agent

DatusArchitecture

•Datus-CLI：⾯向数据⼯程师的AI

命令⾏（SQL/Pipeline的Claude

Code）

•Datus-Chat：带feedback机制的多

轮对话

•Datus-API：为其他系统/Agent提

供稳定SQL/数据能⼒

•Agent正在逐步吃掉workflow

Contextengineeringisthekey

传统⽅案关注：我们的⽅案：

•RAG调优•Tree-basedContext+scopedsubagent

•⼿⼯schema•针对SQL/指标/语义/catalog的专⽤subagent

•单轮workflow•HITL抽取隐性领域知识

InteractiveContextengineering

•使⽤Datus-agent批量构建knowledgebase:datus-agentbootstrap-kb--componentsmetadata/metrics/sql_historydocs

•使⽤Datus-cli交互式的⽣成datacontext:/gen_sql_summary/gen_semantic_model/gen_metrics

•使⽤Datus-cli⼿动编辑datacontext:@catalog@subject

ProvingAccuracywithaBuilt-inEvaluationFramework

•BenchmarkEval是智能Agent的核⼼

•⽀持单轮