2023年数据中台项目建设方案[135页Word].docxVIP

项目编号：

2023年数据中台项目

建

建设方案

项目编号：2023-XX-XX

编制单位：XX市XX中心

编制日期：二○二三年四月

第2章元数据中心

老汤姆：“在上次月会复盘时，大家反馈了一些问题，如表信息等无处可查，在表字段信息发生变更时难以评估对下游的影响等，而且常常上游执行变更了，下游却未收到变更通知。”

小风：“嗯，确实是，目前对于数据平台相关信息的查询主要是通过人问人或者Wiki(内部文档平台)等进行查询的。同时，在每次发生变更时，我们都在尽全力进行周知，但因为缺少血缘链路，一方面我们在进行周知时，可能有遗漏(原本应该被周知到的下游未被周知到，导致部分变更工作的衔接脱节);另一方面我们可能对下游造成不必要的打扰(原本本次变更不会对该下游产生影响，但因怕遗漏，所以我们无差别地对其进行了周知)。“

老汤姆：“那针对这些老大难问题，你是否有系统化的解决方案呢?“

小风：“是的，目前我们正在规划元数据中心，有了元数据中心，我们就可以较好地解决这些问题。”

1.系统、全面地查询元数据信息

通过元数据中心，我们可以系统、全面地查询到各个表、指标的元数据信息和血缘信息。例如，通过元数据中心，数据部门能比较轻易地获取表的描述信息、表如何使用的信息，以及表字段及下游引用

血缘等信息。

2.变更评估及精准变更周知

当表字段或者指标变更时，通过元数据中心的血缘链路，数据部门可以比较方便地评估该次变更对下游的影响，以及大致的变更工作量，确保变更工作能有序、有计划地开展。

3.协助数据问题定位及解决

在日常业务过程中，数据部门常常需要修复一些问题(数据的一致性、时效性等)。但数据从被采集到最终被应用涉及采集、存储、加工、查询、可视化等链路，如果不能较准确地定位问题，那么从0开始全链路盘查的工作量之大可想而知。此时，借助血缘链路，数据部I门可以快速定位问题所在，从而缩短解决问题所需的时间。

2.1元数据中心概述

元数据中心是数据中台最基础的系统(图2-1),其他系统都需要搭建在它之上。无论是数据资产中心的资产管理与资产治理，数仓型中心的调度配置、依赖配置，还是指标设计中心的指标生产逻辑，都需要通过元数据中心整合与控制。

元数据中心

三Q0

XIA0A

现a第

总表数21665总存储量546TB近期浏览的表dw_dim_dw_dim_

总表数

21665

总存储量

546TB

近期浏览的表

dw_dim_dw_dim_dw_dim_dwdim

trade_order

passport_wechat_relationlocation

activetype

热门读取的表更多

dwdimtradeorder

dw_dim_passport_wechatrelation

dwdimlocation

dwdimactivetype

近期读取的表更多

dw_dim_trade_order

dw_dim_passport_wechatrelationdw_dim_location

dwdimactivetype

总项目数

2

热门浏览的表

trade

tradeorder

passportwechatrelationlocation

type

dw_dim_

dw_dim

dwdimactive

据

教R源管理

更多

更多

图2-1

因此，元数据中心需要实现三大模块的内容。

(1)数据整合。

(2)数据管理。

(3)数据地图。

2.2元数据中心的核心功能

2.2.1数据整合

因为元数据中心是数据中台的基础设施，其他系统都需要以它为基础搭建，所以它需要能够支持不同的结构化数据源，如MySQL、Hive、Oracle等，还需要能够支持半结构化的数据源，如Kafka、Redis、HBase等，并且要考虑不同数据源的不同集群。

通过配置定时采集器的方式，对数据进行采集，如图2-2所示。

新建采集器

新建采集器

采集器名称：全网商品爬虫数据

采集器描述：全网可爬取到的商品列表、类目、种类等

数据源类型：MySQL

下一步

1基础信息

2选择采集对象

3配置执行计划

4信息确认

采集器有以下两种采集计划。

(1)场景采集：根据实际的业务场景，在业务需要时才进行采集。

(2)周期采集：按照时间周期，如月采集，在每月的特定时间进行采集，还有周采集、天采集、时采集等。周期采集设置如图2-3所示。

新