邵赛赛周康：AGI时代统一数据目录的设计与实践.docx

AGI时代统一数据目录的设

计与实践

演讲人：邵赛赛演讲人：周康

AboutUS

邵赛赛周康

小米数据开发平台负责人

小米数据开发平台负责人

ApacheGravitinoPPMC

Datastrato联合创始人及CTO

ApacheGravitino创始人

ApacheSparkcommitterPMCmember

ApacheMember

目录

01

01AGI时代的数据需求

02现有技术的挑战

小米在Gravitino上的实践0304AGI时代的统一元

小米在Gravitino上的实践

03

04

AGI时代的数据需求

LLM开发者的典型工作模式

Experiments

Experiments

实验的跟踪和可视化

LaunchSweeps

Launch

Sweeps

编排打包、运行ML流程作业超参优化TracesEvaluations模型

编排

打包、运行ML流程作业

超参优化

Traces

Evaluations

模型

评估GenAI应用训练，调优，及生产化监控、调试LLM

评估GenAI应用

训练，调优，及生产化

开发GenAI应用

AutomationRegistry

Automation

Registry

自动触发流程发布和分享模型及数据集

自动触发流程

ReportsArtifactsData

Reports

数据–大模型开发应用的核心（1）

Q

向量提示词输入数据模型加工数据集

向量

提示词

输入数据

模型

数据–大模型开发应用的核心（2）

数据发现不同组织之间分享模型、数据集数据血缘数据集、模型生

数据发现

不同组织之间分享模型、数据集

数据血缘

数据集、模型生命周期管理

数据治理权限控制

数据集、模型治理及权限控制

LLMisOnlyasGoodasyourData

Garbage

Garbagein,garbageout!

https://www.llamaindex.ai/blog/introducing-llamacloud-and-llamaparse-af8cedf9006b

现有技术的挑战

数据被锁定在不同的数据源中

DataEra

数据湖数据仓库消息队列

GenAIEra

向量数据库ShareDrive

数据被地域分割

企业由单云单域架构向多云多域架构迈进

?不可避免的数据分割

?跨云数据的传输成本

数据管制的限制

?中心化的数据纳管已不现实

数据被组织分割

DataEngineerInfraEngineerAIEngineer

BusinessABusinessBBusinessCOrderPayment

Kafka+↓AWS-ESKafka+RedisKafka+RedisMysql

下------------、

数据被孤立到不同部门拥有的数据平台中，

但是新业务和LLM需要一种统一的方式来访问您的所有数据。

karka

karka

水面下的数据问题

数据连接ConnecttotheDataThatMattersMost.数据发现Automaticallyfind,classify,

数据连接

ConnecttotheDataThatMattersMost.

数据发现

Automaticallyfind,classify,andmapallofyourdata-everywhere.

数据主权Automateend-to-enddatarightsrequestsandreporting.3rdParty

数据主权

Automateend-to-enddatarightsrequestsandreporting.

数据分类

Automatically

Automaticallyclassifymoretypesof