王云霏-探索Lakehouse架构极致查询性能.pdfVIP

王云霏

目录

WHYLAKEHOUSE?

核心优势核心优势

BI、ReportsAI、ML

1.数据质量1.统一入湖

2.查询性能2.开放访问

3.事务支持

问题与挑战问题与挑战

1.数据类型多样化1.复杂的ETL链路，

2.成本与扩展性2.降低时效性

3.高级数据分析（AI）3.数据一致性，冗余存储

Lakehouse的业务价值

Onedata,allanalytics

1.开放统一的数据存储，

SinglesourceoftruthBatchStreamAnalytics

2.一份数据，多样化的Workload,

服务企业AI、BI的数据应用

3.原生存算分离，弹性计算实现Metadata、Caching、Indexdata

极高性价比

HOWLAKEHOUSE?

Storage

ObjectStorage作为统一存储底座

开放的数据存储格式

Catalog

数据以Catalog形式向上层提供

统一的数据访问控制、数据治理

Engine

计算引擎解决各个场景的需求

追求性价比

数据工程师

BI、ReportAI、ML

无需维护复杂ETLPipeline

数据分析师

实时高效的在数据湖上进行探索分析

数据科学家

直接访问开放数据，构建AI应用

企业经营/管理者

简单高效的数据分析驱动企业经营决策

架构简单，性能强悍

StarRocksBEStarRocksBEStarRocksBE

1.无需维护额外的ETLpipeline，数据直接入Iceberg,时效性10分

离线/近实时场景

钟级，查询响应亚秒级

小红书2.存储成本下降50%微信

实时场景数据入StarRocks，将冷至

3.查询性