starrocks（张友东）：Data Lakehouse：你的下一个数据仓库.docxVIP

墨天轮中国数据库联盟

墨天轮

AllChinaDatabaseUnion

DTC2024.4.12-13

数据技术嘉年华

智能·云原生·一体化——DB与AI协同创新，模型与架构融合发展

DataTechnologyCarnival

DataLakehouse:你的下一个数据仓库

Data

张友东镜舟科技CTO

StarRocksTSCMember

AboutStarRocks镜舟

镜舟

基于StarRocks的商业化公司StarRocks社区中国最大贡献者

StarRocks

Linux基金会开源项目

大型企业用户360+

GithubStar7600+

社区参与者15000+

数据分析：挖掘数据的价值

Howtomakeithappen?用户画像、

Howtomakeithappen?

用户画像、ABTest

Whydidithappen?

实时分析、预测

Ad-hoc查询

Whathappend?

BI报表

描述性分析探寻式分析

描述性分析探寻式分析

指导性分析

DataWarehouse

DTC2024

StagingAreaDataMartsUsersDataSources

StagingArea

DataMarts

Users

DataSources

Warehouse

●数据质量：经过ETL处理，结构化

·事务处理：支持更新与事务处理

OperationalSystemPurchasingAnalytics·

OperationalSystem

Purchasing

Analytics

●数据治理：面向主题，易于治理

Metadata

ETL目ReportingSalesOperational

ETL

目

Reporting

Sales

OperationalSystem

SummarydataRawdata

Summary

data

Rawdata

·数据孤岛问题

·成本与扩展性

·高级数据分析(AI)

FlatFiles

MiningInventory

Mining

DataLake

核心优势

·统一

·Singlesourceoftruth

·低成本、可扩展

·开放

·不同应用灵活访问

·Openformat、灵活schema

问题与挑战

·数据分析性能

●数据管理与治理

DataLake

巨

巨

DataWarehouse/Mart

DataLake

Ifyouthinkofadatamartasastoreofbottledwater-cleansedandpackagedandstructuredforeasyconsumption-thedatalakeisalargebodyofwaterinamorenaturalstate.

湖仓分层架构

——DTC2024-

核心优势

·数据统一入湖管理

·湖上数据按需导入数据仓库支持BI应用场景

·湖上数据同时支持AI应用场景

问题与挑战

·数据可靠性：两份数据口径不一致

●数据时效性：先入湖，再同步到数据仓库

·高级数据分析：数据仓库私有化格式

·总体成本：复杂的ETL、冗余的存储

典

典

BIReportsAlML

DataWarehouse

ETL

DataLake

Structured,Semi-strucuredUnstructuredData

数据分析架构演进

DTC2024

TeradataHadoop-HiveSnowflakeRedshiftBigquery

Teradata

Hadoop-Hive

·云原生存算分离架构

·支持主流数据湖查询

Datawarehouse

Data

Lakehouse

Datalake

Hadoop数据湖ApacheIceberg

Hadoop数据湖

·支持ACID等高级数据管理特性

·基于数据湖数据的分析技术提升

·Datalayout、Indexing、Caching

2010s1980s2020s

2010s

1980s

DataLakeh