琚克俭-AICon深圳2025-Daft-面向AI的多模数据湖计算引擎.pdfVIP

演讲人：琚克俭

01AI带来的数据湖变革

02Daft多模计算定位

03Daft核心场景

04Daft+Lance数据湖新范式

05Daft大规模数据处理实践

06未来展望

01

AI带来的数据湖变革

➢ChatBI/Agent/智驾/基模/具身/...

➢Database-Dataset

➢Table/View-Volume/Model/Function

➢

➢

➢

➢

➢

大模型发展迅速，数据处理领域快速从纯文本场景扩展到了文本、图片以及音视频等联合的多模态场景，

多模态数据管理相比原有的仅文本处理也有了新的技术挑战。

02

Daft多模计算定位

单机与分布式统一

多模与结构化统一

CPU与GPU异构统一

DaftFrame与SQL统一

预处理+推理+训练统一

✓

✓

✓

✓

框架概览

03

Daft核心场景

CPU+GPU异构

基于Ray的流式计算

少参数并发控制

Iterator数据输出

图文混排示例

⚫⚫⚫⚫

⚫

⚫

⚫

⚫⚫

自定义binary文件文本+图片+音视频Embedding/TensorArrow扩展类型

LLM推理

无限扩展预处理集群，

打破gpu训练机型的限制

Daft作为内存缓冲器，预

处理数据从S3/PFS上预加

载到内存中

TrainResume.练中断按照

Daft保存的Step状态处恢复

Rust减少GIL锁问题

04

Daft+Lance数据湖新范式

Zero-Cost

大小列统一存储DataEvolution

高性能随机点查透明编码

？图片/视频是存S3文件还是存lance列

✓

✓

Url延迟Download文件与结构化列统一存储

多模对象的KV方式访问

✓

✓

✓

✓

✓

✓

✓

AI领域的湖计算和湖存储

05

Daft大规模数据处理实践

客户原先架构

车端数据采集数据预处理+推理标注数据挖掘管理