哔哩哔哩基于Iceberg的智能数据组织优化实践.pdf

哔哩哔哩基于Iceberg的智能数

据组织优化实践

杨金德-哔哩哔哩-高级开发工程师

DataFunSummit#2024

目录CONTENT

智能优化背景智能优化成果及规划

智能优化实践方案

01

智能优化背景

DataFunSummit#2024

湖仓一体架构与现状

•Iceberg表数量2K，数据总量40PB，日增100TB

•Trino日查询量3M，P99响应时间3s

Magnus

Icebergon

实时ETL

FlinkHDFS

数据优化

Spar离线ETLIcebergon

kHDFS

Alluxio

SDK

实时ETL交互式分析

Trino

OLAP场景查询加速

•排序

•多维排序：Z-order、HilbertCurve

•索引

•一般场景：BloomFilter、Bitmap、BloomRangeFilter

•日志场景：TokenBloomFilter、NgramBloomFilter、TokenBitmap、NgramBitmap

•预计算：聚合计算优化

用户使用门槛高

•利用这些丰富强大的优化手段实现查询加速，要求用户：

•对业务查询模式有清晰认知

•具备相关基础知识

•如何解决？

•自动分析用户查询，为Iceberg表配置合理的优化手段，透明地实现查询加速

02

智能优化实践方案

DataFunSummit#2024

概览

•查询模式分析

•智能推荐

•数据优化

查询模式分析

•需要分析什么类型的查询模式？

•以排序为例：

•提高字段聚集性，使得Iceberg文件级别MinMax索引可以过滤数据—过滤条件

•在orderby查询中可以省下局部排序的成本—orderby字段及类型

•过滤条件：

•字段

•类型：等值、范围

•是否能下推到Icebergconnector

查询模式分析

•过滤模式：过滤字段及过滤类型组合的集合

•Trino在生成逻辑计划的同时分析查询过滤模式，记录在查询信息中

•Magnus分析模块每天读取前一天的所有查询信息，将过滤模式按表聚合后，为智能推荐模块提供决策

依据

智能推荐

•过滤模式统计信息按字段聚合后，可以得出每个字段出现在过滤条件的百分比，作为排序字段选择依据

•多维排序：如何对比不同排序策略的优劣？

•采样数据，应用排序结果，通过查询对比：结果较准，但成本过高

•搭建估值模型对比：结果取决于模型准确度，成本低

智能推荐

•建立以过滤百分比为主、字段基数为辅的模型，配合经验性规则进行决策

•其他涉及的统计信息：

•最细粒度分区大小/文件数

•查询耗时

•查询读取数据量

智能推荐

•Magnus推荐模块每周对Iceberg表生成一组推荐的配置，同时将推荐配置