StarRocks Paimon在阿里集团LakeHouse的探索与实践 - 2024 StarRocks峰会.pdf

StarRocks+Paimon：阿里集团Lakehouse

架构的探索与实践

范振（辰繁）阿里云计算平台开源OLAP负责人，StarRocks社区Champion

翁才智阿里云技术专家，ApachePaimonPMC

Member

阿里集团数据湖（ALake）项目背景

当前痛点愿景和目标

Lakehouse业界趋开源开放流批统一

势成为主流实时离线链路统一、一套代码

数据生产-低效双重研发、资源浪费、数据口径核查难

统一存储

无需导出、一份数据、权限对齐

数据存储-冗余导出效率低、数据多份冗余、数据安全

敞口

高性能分析

不改变业务体验、更低成本

AI浪潮

风起云涌

数据分析-孤岛数据孤岛、很难形成合力结构化/非结构化数据统一

AI、BI开放互通

全面升级为Lakehouse架构

DataWorks

统一开发平台IDE/Notebook

IDENLAnalysis

NoteBookCopilotBI+AI一体化

数据

RAG

集成

MC

Spark文本搜统一元数据和元仓

Holo

StarRocksPlatformForAI