2026年TEZ引擎+LAKEHOUSE金融级数据中台重构创新实践报告.pptxVIP

TEZ引擎+LAKEHOUSE

金融级数据中台重构创新实践

数据中台演进之路

2025年（MRS+DWS）

TERADATA

2014年（TD）

数据仓库

•面向主题

•数据ETL

•决策分析

2018年（CDH）

数据中台

•全行业务跑批提速

•数据API服务化

•数据实验自助化

•企业级指标库支撑

•360客户视图及旅程

数据中台雏形

•数据底座能力提升

•海量数据处理

•实时交易场景

解决痛点：

◆平台EOS且升级成本高；

◆数据底座非自主可控；

◆平台性能日益趋慢；

◆数据中台能力待提升；

数据的十年演进之路

NAS

源系统

核心账务

信贷系统

手机银行

聚合收单

信用卡

二代征信

第三代数据中台系统架构——湖仓一体

全文检索

ElasticSearch

实时计算-Flink

文件传输-GTP

消息队列Kafka

数据采集-CDC

统一调度-Moia

基础环

境

数仓（主集群）DC1

(监管+绩效)集市

元数据MPPDB

审计系统

反洗钱驾驶舱

湖仓一体架构

统一数据分析（HETU）

集群同

步

数仓（备集群）

只读查询

Hive同步

数据湖（备集群）

数据交换平台(Spark引擎)

营销中

台

100+...

进件风控

ACR

M

鲲鹏服务器麒麟-KylinOS

监管报送

风险预警

智能报表

飞燕数海

风险预警

绩效管理

实验分析

实时服务

预发布验证

HiveonTEZ

实时数据湖

Hudi

离线跑批

HiveonTEZ

数据实验

HiveonTEZ

加速

归档

dr

DC1

DC2

数据湖（主集群）

备用链路（DataX）

华为Dorado

MPPDB

外表

DC2

Tez新引擎积累30参数项调优：

●跑批时效提升2.4倍

●老平台作业跑批总累计耗时2311小时

●新平台跑批总累计耗时963小时

●主干链路跑批提升2.3倍

●老平台主干链路作业跑批总耗时161小时

●新平台主干链路跑批总耗时68小时

跑批引擎

MM

R

HDFS

M

R

HDFS

M

R

MapReduce引擎

存储节省：服务器软件授权节省28例，总预算节省19.5%

老平台3.64PB，新平台2.08PB，节省1.56PB

存储压缩

MMM

RR

\/

R

变小了，也变强了

DAG有向无环图高效调

度减少不必要的HDFS写

入

+Zlib

Tez引擎

MM

HDFS

M

在业务上释放数据价值

效能革命：新数据中台赋能全栈业务与研发效率倍增

新数据中台上线不仅是技术升级，更是业务效能的革命。

关键业务报表出数时间最高提速649，绩效研发效率提升400%，为敏捷营销和快速决策提供了“小时级”数据支撑。

绩效研发

400%

8天

2天

指标研发

60%

从头研发

60%可复用

数据入仓

200%

2周

1周

驾驶舱研发

600%

3天

0.5天

重要报表

小微贷款审批明

细表

2.5

09:52

07:19

一表通

6.1

10:41

04:35

涉及数据量1PB

70000张表40000作业

绩效考核713:0406:00

应用系统速小时原现

提效原现

总人数300+人

技术人员190+人

业务人员100+人

提效

提速

跑批整体提速9个小时

作业最高649倍

移动驾驶舱

系统184套

03:32

07:27

仓10.6倍

事项

湖2.4倍

3.9

作业中文名

所属系统

新平台耗时/秒

老平台耗时/秒

提速倍数

投保机构存款账户统计表

存款保险系统

12

7799

649

常熟金融机构旬报

计财基础数据系统

3

1692

563

个人贷款发生明细

人行金融基础数据报送系统

6

1974

328

校验结果表

省联社数据整合系统

11

3542

322

个人贷款分析_个体工商户

省联社数据整合系统

11

2706

245

利率总分校验表

人行金融基础数据报送系统

19

4319

227

总分校验表

存款保险系统

19