史少锋-如何用元数据湖解决多 Lakehouse 治理难题.pdfVIP

史少锋

目录

图片来自：/blog/2020/01/30/what-is-a-data-lakehouse.html

•支持事务，确保数据的一•支持对象存储，为云上•使用开放数据格式•支持结构化、半结构化

致性；使用而优化（parquet、avro、orc和非结构化数据的存储

•支持MVCC，实现快

•元数据与数据一起保存等）和管理

照、时间旅行、回滚等操

作；在云存储上，确保可靠•提供开放API，从各种•既支持传统大数据

•支持schemaevolution引擎平台接入workload，也支持AI/

和持久

和partitionevolution。•支持主流SQL引擎ML

深度集成Spark生事务型数据湖平台，开放表格式标准，支持流式数据湖（LSM树+列

态，提供ACID事支持COW和MOR两种隐藏分区和高效元数据存），深度使用Flink构

务和批流一体能力存储模式；行级过滤，多引擎兼容，适建实时数仓，支持高吞吐

ACID，支持流式CDC合历史数据分析写入和实时点查

更新

可见，各有侧重，企业面临多种Lakehouse同时存在、同时管理、同时治理的问题

公有云私有云/数据中心

ClickHouHiv

Spark

see

北美

中国

DataRDMachinDataMachinHBaseRed