天翼云实时湖仓实践 - 邱从贤.docxVIP

天翼云实时湖仓实践邱从贤技术专家/

天翼云实时湖仓实践

邱从贤

技术专家/ApacheFlinkCommitter/ApacheAmorocontributor

业务背景实时入

业务背景

实时入湖

数据湖实践

未来展望

业务背景介绍

业务背景介绍

业务背景介绍数仓数据集市汇聚库备份库业务数据管理域数据业务域数据运营域数据网络域数据

业务背景介绍

数仓

数据集市

汇聚库

备份库

业务数据

管理域数据

业务域数据

运营域数据

网络域数据

业务背景介绍MySQLIceberg挑战数据量大更新频繁稳定性要求高PostgreSQLKafkaETL

业务背景介绍

MySQL

Iceberg

挑战

数据量大

更新频繁

稳定性要求高

PostgreSQL

Kafka

ETLFramework

Doris

File

实时入湖

实时入湖实践

实时入湖MySQLIceberg挑战分库分表同步支持Sch

实时入湖

MySQL

Iceberg

挑战

分库分表同步

支持SchemaEvolution的IcebergSink

时间字段自动调整时区applicationmode

配置文件安全以及自定义配置

...

?

?

?

?

?

?

FlinkCDC

Doris

PostgreSQL

实时入湖SourceIceberg分片1FlinkCDC分片n

实时入湖

Source

Iceberg

分