一文读懂数据中台架构体系.pdfVIP

⼀⽂读懂数据中台架构体系（收藏）

当前，⼤部分企业不再建设从源数据采集到分析应⽤的烟囱式系统，更倾向数据集中采集、存

储，并应⽤分层建设。这种⽅式⼀⽅⾯有利应⽤系统的快速部署，另⼀⽅⾯也保证了数据的集中

管理与运营，体现数据的资产、资源属性。

数据中台的出现弥补了数据开发和应⽤开发之间由开发速度不匹配⽽出现的响应⼒不⾜等缺陷问

题。

数据中台是国内学者提出的概念，起始阿⾥的“⼤中台、⼩前台”概念。阿⾥的中台是从管理的⻆

度出发，以中台事业部集中数据搜索，技术及产品，数据共享等多个部⻔的功能。其他组织或企业

建设数据中台不⼀定需要成⽴中台事业部，但是数据集中治理与提升数据价值转换效率的思路是⼀

致的。

— 01 —

数据中台通⽤体系架构

不 同的企业对数据有不同的需求。企业数据应⽤不断更新迭代，企业的中台系统也需要不断变化。

从数据处理与数据治理两个维度出发，可以设计⼀个解耦的数据中台体系架构。该数据中台体系架

构具有⼀定的柔性，可按照企业应⽤需求进⾏组合，或者对单个模块进⾏扩充，能满⾜⼤多数企业

数据中台建设的需求。

数据中台体系架构⽰例

数据中台的通⽤体系架构如图 2 所⽰。该中台体系架构以减少功能冗余和提⾼功能复⽤为原则，把

数据中台解耦为 6 个可以分别独⽴建设、演进的功能⼦系统。

数据结构与数据处理⼦系统是数据中台体系架构的核⼼，数据治理是提升数据价值的重要⼿段。该

数据中台体系架构的通⽤性表现在以下⼏点。

该数据中台体系架构综合考虑了数据中台的各种要素，参考这

个架构进⾏建设可以有效提升数据资产价值，提供数据及服务

的共享。

参考这个数据中台体系架构，企业可以⼀次规划、分步实施。

⾸先建设处理⼦系统及数据存储⼦系统，然后根据业务发展需

求，逐步补充数据采集、数据安全及数据治理⼦系统。

该数据中台由 6 个解耦的⼦系统组成。企业在⽴项建设时可以

灵活组合，每个⼦系统单独招标建设，也可以把多个⼦系统合

并招标建设。数据中台通⽤体系架构包含数据存储框架、数据

采集框架、数据处理框架、数据治理框架、数据安全框架及数

据运营框架等 6 ⼤部分。

1、数据存储框架

数据中台的核⼼是数据，数据通过采集系统获取，然后数据经过处理框架加⼯，并接受数据治理框

架的管理，同时也要接受数据安全管理框架的管理，最后开放的价值数据将通过数据运营框架对外

提供数据服务。

数据中台的数据架构应该独⽴规划，并采⽤合理的技术架构对不同类型的数据进⾏存储。

数据存储框架中，⽆论数据采⽤对象存储、块存储还是数据库存储技术，各种中台数据可按照上图

所⽰分类管理。

源数据主要由采集框架进⾏管理，数据治理框架按照数据特征把数据简单分为结构化和⾮结构化数

据两⼤类，⽽规范化分域数据则是数据治理框架对全量数据的规范化分域整理。宽表数据是数据关

联的结果，利⽤宽表数据可以对⼈、事、地、物、组等对象进⾏完整的数据画像，同时宽表数据也

可以作为上层模型数据的中间层数据。

元数据和标签数据都是对数据的描述，其中元数据⽤来对数据的客观属性进⾏表⽰，标签数据更倾

向管理者对数据的主观表述及等级划分，⽐如质量等级标签、安全标签、属性标签等。主数据需

要在各系统间频繁更新、交换，且需要独⽴的存储空间进⾏维护管理。

2、数据采集框架

数据中台的采集框架应对纳⼊数据中台的各种源数据进⾏统⼀采集管理。数据采集框架中应提供多

种数据采集⽅式，如⽂件传输协议采集、数据库采集、接⼝应⽤程序接⼊采集、流式采集及⽹络爬

⾍采集。

同时采集框架应按照数据采集规范对源数据进⾏预处理，从⽽去除明显不需要的数据及多余数据，

并对采集过程进⾏管理。虽然数据中台的体系架构没有统⼀模板，但各企业数据采集框架基本⼀

致。

3、数据处理框架

数据处理是每个数据应⽤的基本环节之⼀，经典的数据抽取、转换和加载（ETL）处理流程在数据

采集预处理、数据整合、数据建模等多个地⽅均要使⽤。单独建设数据处理框架有利数据处理⼯

具组件的集中开发与管理，也有利数据中台数据处理任务的协调与调度。

数据处理框架专⻔负责数据处理相关的任务，包括批处理、流处理、⼈⼯智能分析、数据清洗、数

据交换及查询，此外数据处理的相关⼯具组件可在处理框架中配置。任务调度模块在数据处理框架

中处居中指挥的作⽤，并对运⾏的数据处理任务进⾏监控及异常处理等操作。