2026年TEZ引擎+LAKEHOUSE金融级数据中台重构创新实践报告-.docxVIP

TEZ引擎+LAKEHOUSE

金融级数据中台重构创新实践

数据中台演进之路

2018年（CDH）TERADATA2014年（TD）数据中台雏形?

2018年（CDH）

TERADATA

2014年（TD）

数据中台雏形

?数据底座能力提升

?海量数据处理

数据仓库

?面向主题

?数据ETL

?决策分析

?实时交易场景

数据的十年演进之路

2025年（

2025年（MRS+DWS）

数据中台

?全行业务跑批提速

?数据API服务化

?数据实验自助化

?企业级指标库支撑

?360客户视图及旅程

解决痛点：

u平台EOS且升级成本高；

u数据底座非自主可控；

u平台性能日益趋慢；

u数据中台能力待提升；

第三代数据中台系统架构——湖仓一体

营销中

营销中

台

审计系统反洗钱驾驶舱智能报表飞燕数海进件风控

审计系统

反洗钱驾驶舱

智能报表

飞燕数海

进件风控

ACR

M

监管报送

风险预警

实验分析

实时服务

风险预警

绩效管理

源系统

100+...

100+...

数

数据交换平台(Spark引擎)

核心账务

信贷系统

湖仓一体架构

湖仓一体架构

统一数据分析（HETU）

数据湖（主集群）DC1数仓（主集群）

数据湖（主集群）

DC1

数仓（主集群）DC1(监管+绩效)集市

元数据MPPDB

全文检索

ElasticSearch

实时计算-Flink

文件传输-GTP消息队列Kafka数据采集-CDC统一调度-Moia

基础环境

加速归档离线跑批Hive

加速

归档

离线跑批

HiveonTEZ

实时数据湖

Hudi

手机银行

外表

外表

聚合收单

聚合收单

Hive同步集群同

Hive同步

集群同步

数仓（备集群）

dr

DC2DC2

DC2

DC2

数据湖（备集群）

只读查询MPPDB预发布验证Hive

只读查询

MPPDB

预发布验证

HiveonTEZ

数据实验

HiveonTEZ

信用卡

备用链路（DataX）

备用链路（DataX）

鲲鹏服务器麒麟-KylinOS

华为Dorado

二代征信

NAS

争parquet+SnappyDAG有向无环图高效调度减少不必要的HDFS写入MMMMMR存

争parquet+Snappy

DAG有向无环图高效调

度减少不必要的HDFS写

入

MM

MMM

R

存储压缩

RR

\/

R

+Zlib

Tez引擎

HDFSM

HDFS

M

M

MM

R

HDFS

M

M

R

HDFS

M

R

MapReduce引擎

Tez新引擎积累30参数项调优：

存储节省：服务器软件授权节省28例，总预算节省19.5%

存储节省：服务器软件授权节省28例，总预算节省19.5%

老平台3.64PB，新平台2.08PB，节省1.56PB

l老平台作业跑批总累计耗时2311小时

l新平台跑批总累计耗时963小时

l主干链路跑批提升2.3倍

l老平台主干链路作业跑批总耗时161小时l新平台主干链路跑批总耗时68小时

在业务上释放数据价值

效能革命：新数据中台赋能全栈业务与研发效率倍增

新数据中台上线不仅是技术升级，更是业务效能的革命。

关键业务报表出数时间最高提速649，绩效研发效率提升400%，为敏捷营销和快速决策提供了“小时级”数据支撑。

跑批整体提速9个小时总人数300+人技术人员

跑批整体提速9个小时

总人数300+人

技术人员190+人

业务人员

100+

系统184套仓10.6倍作业最高649倍湖2.4倍人70000

系统184套

仓10.6倍

作业最高649倍

湖2.4倍

人

提速

应用系统提速小时原现

绩效考核713:04今06:00

3.903:3207:27移动驾驶舱

3.9

03:32

07:27

重要报表

小微贷款审批明

细表

2.5

09:52

07:19

一表通

6.1

10:41

今04:35

提效

事项提效原现

事项

绩效研发

400%

8天

2天

2天

指标研发

60%

从头研发

60%可复用

数据入仓

200%

2周

2周

1周