数据湖在快手的应用实践.pdf

数据湖

在快手的应用实践

靳国卫–快手

DataFunSummit#2024

姓名:靳国卫

目前负责生产社交数据团队

10年+数据相关工作经验，主导快手、滴滴、美团核

心业务数据体系建设及公司级BI产品的规划及落地

擅长OLAP技术和数据湖技术并多场景实践落地

目录

CONTENT

数据湖在快手的应用历程

问题与挑战、技术选型、应用过程、推广策略、生态建设

数据湖在快手的应用案例

CDC数据同步、批流结合业务加速、架构升级数仓优化

01

数据湖在快手的应用历程

问题与挑战

技术选型

应用过程

推广策略、生态建设

DataFunSummit#2024

问题与挑战

模型持续膨胀跨域/团队协作离线、实时数据Gap

成本、运维、治理效率、质量、运维质量、决策困扰

问题与挑战(具化)

业务诉求

数据统计：纬度1、纬度2、纬度3、纬度4、指标1、指标2、指标3、指标4、指标5、指标6、…

核心日报：纬度1、指标1、指标2（SLA承诺7:00）

增长钱效数据：纬度1、指标2、指标3、指标4（SLA承诺8:00）

增长日报：纬度1、指标3、指标4、指标5、指标6（SLA承诺10:00）

复用

跨领域数据数据域A(4点)数据域B(5点)数据域C(7点)数据域D(8点)…一次写多次读

数据域A数据域B(7点SLA)–公共模型更新写多次读

1

数

仓

架数据域A数据域B数据域C(8点SLA)–公共模型2SLA

构

时效要求

数据域A数据域B数据域C数据域D(10点SLA)–公共模型3

数仓：复用

引擎：批处理

协作：多域建设

技术选型-更新写多次读

对比项HudiDeltaLakeIceberg

功能丰富度丰富丰富待提升

公司融合度高

自动化程度自动部分开源手动

Flink集成是否是

社区活跃度活跃活跃相对活跃

功能丰富、运维简便商业化强大框架优秀、扩展性