XX公司数据中台项目蓝图规划方案.docxVIP

XX公司数据中台项目蓝图规划方案

目录

TOC\o1-3\h\z\u1. 概述 1

1.1 什么是数据中台 1

1.2 数据中台解决什么问题 1

1.3 数据中台和数据仓库、数据平台的区别 1

1.4 名词解释 2

2. 平台建设目的 3

3. 数据中台建设内容 4

3.1 数据中台架构 4

3.1.1 数据中台系统架构 4

3.1.2 数据中台技术架构 4

3.1.3 系统架构数据管理及数据流向 5

3.1.4 数据中台功能整体规划 5

3.2 数据资产管理 7

3.2.1 资源管理 7

3.2.2 元数据管理 7

3.2.3 数据地图 9

3.2.4 数据生命周期管理 11

3.2.5 数据资产 11

3.2.6 数据问答 12

3.3 数据接入管理 12

3.3.1 Mysql数据源数据接入 13

3.3.2 DataX数据接入 14

3.3.3 数据API方式数据接入 14

3.3.4 数据开发控制台 14

3.4 数据质量管理 14

3.4.1 数据质量规则管理 14

3.4.2 数据质量管理流程 15

3.5 数据指标管理 16

3.5.1 指标管理常见问题 16

3.5.2 指标主题域管理 17

3.5.3 指标修饰词管理 17

3.5.4 指标管理 17

3.5.5 指标体系图谱模型 18

3.5.6 数据指标建模流程 19

3.6 数据服务管理 21

3.6.1 数据服务化 22

3.6.2 数据服务看板 22

3.6.3 数据服务权限管理 22

3.7 数据安全 22

3.8 数据填报 23

3.8.2 自助取数 24

3.8.3 数据自助填报 24

3.8 数据仓管理 24

3.8.1 数仓分层模型 24

3.8.2 数仓主题域管理 25

3.8.2 数仓看板 25

3.8.3 数仓任务管理及资源监控 25

3.8.4 数仓用户及权限管理 26

3.8.5 数仓资源管理 26

3.8.6 数仓备份及恢复 26

3.8.7 数仓表管理 26

3.8.8 数仓数据库管理 26

3.9 运维监控 26

3.9.1 Doris集群监控 26

3.9.2 Kafka集群监控 26

3.9.3 Canal监控 27

3.9.4 DataX监控 27

3.9.5 Flink作业监控 27

3.10 数据应用-标签工厂（规划中） 27

PAGE2

概述

什么是数据中台

数据是从业务系统产生的，而业务系统也需要数据分析的结果，那么是否可以把业务系统的数据存储和计算能力抽离，由单独的数据处理平台提供存储和计算能力？这样不仅可以简化业务系统的复杂性，还可以让各个系统采用更合适的技术，专注做本身擅长的事。这个专用的数据处理平台即数据中台。

数据中台是一个用技术连接大数据计算存储能力，用业务连接数据应用场景能力的平台。

“连接能力”是数据中台的精髓。作为一个处在中间层的能力平台，“连接”是其根本任务。在业务层面需要尽可能连接各种数据源作为其生产资料；同时，由于生产数据的场景越来越多，覆盖了线上线下等多渠道，各数据生产资料之间也需要进行连接，才能形成全域的数据；数据在数据中台这个平台上按照标准的模型进行规范加工处理后需要服务于多种场景，同样需要我们提供标准的数据服务接口将数据与应用场景连接起来。因此，连接是数据中台的根本能力，也是数据中台的价值所在。

数据中台通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。

数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。这些服务跟企业的业务有较强关联性，是这个企业独有且能复用的

数据中台解决什么问题

1、效率问题：为什么应用开发增加一个报表，就要十几天时间？为什么不能实时获得用户推荐清单？当业务人员对数据产生一点疑问的时候，需要花费很长的时间，结果发现是数据源的数据变了，最终影响上线时间。

2、协作问题：当业务应用开发的时候，虽然和别的项目需求大致差不多，但因为是别的项目组维护的，所以数据还是要自己再开发一遍。

3、能力问题：数据的处理和维护是一个相对独立的技术，需要相当专业的人来完成，但是很多时候，我们有一大把的应用开发人员，而数据开发人员很少。

数据中台和数据仓库、数据平台的区别

1、数据中台是企业级的逻辑概念，体现企