淘菜菜 x 基于Flink和Hologres的高可用实时数仓架构升级之路.pdfVIP

淘菜菜x基于Flink和Hologres的高可

用实时数仓架构升级之路

汪宇（旋宇）

阿里巴巴淘菜菜事业部-数据技术专家

2022/09/23

目录

•淘菜菜简要介绍

•淘菜菜实时数仓发展

•淘菜菜与Hologres如何打造高可用实时数仓

淘菜菜简要介绍

典型业务场景

共享仓

推荐商品

入仓配送配送

供应商中心仓网格仓团长消费者

自提

采购下单支付

平台

生鲜电商高性价比下沉市场

一日三餐物美价廉三线及以下

履约成本团长运营

三级仓配消费者服务

淘菜菜简要介绍

实时数据规模

场景多样实时规模实时吞吐

实时播报400+-350+左右日均超2000万/s输入

（快速交付、高保障）（峰值6千万以上）

仓库实时作业Flink1万+CU日均超50万/s输出

（高性能、持续服务）Hologres1万+CU

指标中心自助分析P2及以上70%几百TB

（多维OLAP、灵活）

淘菜菜实时数仓发展

淘菜菜实时架构的演进及过程中的思考

Jstorm阶段FlinkSQL阶段FlinkSQL+Hologres提效升级FlinkSQL+Hologres高可用部署

•规模增加•缩短实时链路•稳定性提升：读写、容灾等高效率

•规模小•数仓建模•引入OLAP能力，高效、高灵活•元数据管理

•投入成本高•运维困难•稳定性问题•成本治理•开发提效

•运维提效

生意参谋大屏生意参谋大屏圈选/物流作业对内看数实时高效高灵活高可用