企业级数据中台架构方案.pdfVIP

老当益壮，宁移白首之心；穷且益坚，不坠青云之志。——唐·王勃

企业级数据中台架构方案

一、什么是数据中台

数据中台是一种将企业沉睡的数据变成数据资产，持续使用数据、产生智能、为业务服务，从而

实现数据价值变现的系统和机制。通过数据中台提供的方法和运行机制形成汇聚整合、提纯加工、

建模处理、算法学习，并以共享服务的方式将数据提供给业务使用，从而与业务联动。再者，结

合业务中台的数据生产能力，最终构建数据生产一消费一再生的闭环。

二、数据中台功能架构

数据中台建设是一个宏大的工程，涉及整体规划、组螭建、中台落地与运营等方方面面的工作，

本文重点从物理形态上讲述企业的数据中台应该如何搭建。一般来讲，企业的数据中台在物理形

态上分为三个大层:工具平台层、数据资产房口数据应用层。

□

2.1.

工具平台层

工具平台层是数据中台的载体包含大数据处理的基础能力技术如集数据采集、数据存储、数据计

算、数据安全等于一个的大数据平台；还包含建设数据中台的一系列工具，如离线或实时数据研

发工具、数据联通工具、标签计算工具、算法平台工具、辘服务工具及自助分析工具。以上工具

集基本覆盖了数据中台的数据加工过程。

(1)

数据开发平台

老当益壮，宁移白首之心；穷且益坚，不坠青云之志。——唐·王勃

大数据的4V(Vo1ume数据量大、Variety类型繁多、Ve1ocity速度快效率高、Va1ue

价值密度低)特征决定了大数据处理是一个复杂的工程。建设数据中台需要搭建数据中台的基建

工具，要满足各种结构化、非结构化数据的采集、存储与处理，要4艮据场景处理离绩口实时

XiXi

数据的计算与存储,要将一个个数据处理任务串联起来以保障数据的运转能赋能到业务麻。

(2)

数据资产管理

数据中台建设的成功与否，与数据资产是否管理有序有直接关系。数据中台是需要持续运营的，

随着时间的推移，数据不断涌人数据中台，如果没有一套井然有序的^资产平台来进行管理，后果

将不堪设想。

数据资产管理工具既能帮助企业合理评估、规范治理信息资产，又可以发挥数据资产价值并促进

数据资产持续增值。对于数据资产管理，不推荐事后管理，而要与数据研发的过程联动。也就是

说，当数据经过数据开发平台加工的链路时,数据资产管理平台就已经无声无息地介入了。数据资

产管理的首要任务是管理好进入数据中台的元数据，这里的元数据包括数据源、构建的各种模型、

通过模型拆解出来的指标与标签。有序管理这些数据资产的元数据是前提条件，只有做好了这一

步,才能继续对数据流向的追溯,对指标、标签体系的生命可期进行管理。

(3)

标签工厂

标签工厂又称标签平台，标签建设是数据中台走向数据业务化的关键步骤，严格来说标签工厂也

属于数据开发平台的一部分。一个强大的标签工厂是数据中台价值体现的有力保障，标签的使用

场景丰富，标签与业务结合得非常紧密。标签工厂致力于屏蔽底层复杂的大数据框架，面向普通

开发人员、数据分析师、运营人员提供友好的界面交互配置，完成标签的全生命周期管理；同时,

对上层业务系统提供自身API能力，与各业务系统形成数据闭环。

标签工厂按功能一般分为两部分：底层的标签计算引擎与上层的标签配置与管理门户。标签计算

老当益壮，宁移白首之心；穷且益坚，不坠青云之志。——唐·王勃

引擎一般会使用M叩RedUCe、SparkF1ink等大数据计算框架,而计算后的标签存储可采用