StarRocks在电商数据分析场景的实践 - 2024 StarRocks峰会.pdf

StarRocks在电商数

据分析场景的实践

从2.5到3.X的迭代升级

王新春

唯品会-数据平台

01OLAP在电商场景的发展历程

02StarRocks2.5存算一体加速分析

03StarRocks3.1存算分离优化和实践

04StarRocks湖仓一体增强智能BI分析

05StarRocksNext：统一分析场景

OLAP在电商场景的发展历程

01Presto/ClickHouse到StarRocks

OLAP在电商场景的发展历程

2015年至今2020年至今2022年至今

通用数据产品查询和数仓分析专有数据产品加速和日志降本指标分析加速和湖仓分析

主要工作：主要工作：主要工作：

2019年：基于负载的集群调度，用户智2020年：AB实验场景下Flink百万级/s写2023年：部分场景替代Presto，提升5-

能查询路由入性能优化10倍查询效率（P85查询小于5s）

2019年：全部容器化，集群智能扩缩容2022年：日志场景下替换ES，节约50%以2024年：大规模存算分离和统一湖仓分

上成本；BulkLoad出仓加速2倍以上析加速

2022年：Spark和Presto潮汐混部，

Presto夜间缩容调度ETL2024年：核心集群多AZ容灾和高可用2024年：Serverless架构，资源动态扩

缩容

StarRocks2.5存算一体加速分析

02

提升分析效率5-10倍

StarRocks2.5存算一体加速分析

分析1.0基于PrestoDB+Alluxio，由于引擎能力和资源的有限，在用户体验层面痛点突出

排队时间久分析耗时长

分析1.0版

下载数据量少查询时间范围短

StarRocks2.5存算一体加速分析

StarRocks的引入，利用向量化和更好的下推能力，整体分析能力提升了7倍以上

资源利用率在双11、双12活动大促、运营推广、复盘、年末汇算期间长期保持在85%以上

流量查询时间范围大幅延伸

主题平均耗时前后对比(单位：秒)

160150

140只支持查询14天内支持高频指标和维度

120120的流量数据