数据中台架构的主数据平台及关键技术设计.pdfVIP

数据中台架构的主数据平台及关键技术

设计

摘要：针对传统数据平台存储容量不高、数据处理能力较差的问题，对业务

数据进行层级分割和水平解耦，构建数据中台架构的主数据平台，实现跨域数据

整合和数据积累。通过服务的形式构造数据接口，进行数据业务的开发，对业务

前后端应用需求灵活应对。

关键词：数据中台架构；主数据平台；关键技术

引言

传统的数据平台基于简单的总体架构，完成数据导入、整理多维数据集合简

单的数据分析。当前传统的数据平台是单节点，数据存储容量不大，只能对结构

化的数据进行处理，面对海量的异构数据时，一些数据源无法涉及。

1数据中台架构的主数据平台

1.1主数据平台设计

数据的中台架构为完成系统业务数据的层级分割和水平解耦，将公共业务数

据入口独立出来，通过数据层的数据模型实现跨域数据整理和知识累积，应用视

图和控制器实现构建数据接口，进行数据业务的开放，对数据业务的前后端应用

需求灵活部署。数据平台对数据划分多个层次可以更好地管理数据模型，按照数

据结构规范分层处理，数据模型将多种数据标准化，使用多维度建模。数据标准

化概括为３层：基础数据模型处理数据；融合模型按照数据的维度进行建模，整

合多种数据类型，处理数据的形式包括整合、关联和分解；挖掘数据模型偏向于

业务层面，复用性较高的融合在中台架构中，作为企业的数据模型，提高了业务

效率。数据中台架构的主数据平台对外提供统一的服务能力，按照应用要求，对

构成数据根据业务场景进行服务。数据服务能够使开发人员快速访问和查询数据

业务，数据分析人员可以进行算法分析，包括数据模型的管理和数据结构的分析。

数据平台中，源数据和数据模型是数据中台搭建的基础，数据开发是连接前台开

发重要的环节。首先是提供标签库，基于标签库的分类区分营销客户，面向业务

人员。数据开发平台面向所有用户和ＳＱＬ开发人员，提供数据访问，将业务数

据可视化处理。方便快速掌握了解数据，及时发现透明数据动态，保护数据的安

全性。在数据业务响应过程中，共享数据服务实现数据共享。数据模型多元化支

持可视化平台，给业务决策提供数据支持，结合自身实际数据结构，对数据平台

分层划分，不同的层次承担不同的数据类型，可以更方便地进行数据模型管理。

1.2数据采集模块

数据平台中数据采集方式包括自动爬虫、第三方数据和手动采集３种方式。

大部分数据由自动爬虫获取，第三方数据采集的数据主要是公司企业的各项业务

场景中的数据指标，这部分数据量过大，采集过程较为复杂。数据加载是ＡＪＡ

Ｘ请求，具体数据采集实现过程分为３个类，使用以下方法进行数据采集：首

先进行数据请求时，ｈｅａｄｅｒｓ配置需要填充ｐａｔｈ、ｑｕｅｒy＿ｈａ

ｓｈ等关键词。Ｃｏｏｋｉｅ可以进行一次登录后截取修改，配置Ｓｅｓｓｉｏ

ｎＩＤ，Ｘ－ＩＧ－Ａｐｐ－ＩＤ、Ｘ－Ｉｎｓｔａｇｒａｍ－ＧＩＳ从ｈｔｍ

ｌ中ＳｈａｒｅｄＤａｔａ字段中获取。Ｉｎｓｔａｇｒａｍ的页面访问结构不

是传统数据采集的线性结构，是通过ｃｕｒｓｏｒ进行的链式结构。数据注册模

块对采集到的图片数据进行注册，将收到的图片数据各等级业务来源信息记录并

保存，为每个图片数据生成唯一编号，分配ｂａｓｅ６４存储空间与索引结构化

操作。数据注册模块和数据采集模块之间紧密耦合，减少了数据采集占有服

务器的存储空间，减少了磁盘空间，防止磁盘空间溢出造成的程序崩溃。当采集

到的业务数据到达一定数量级时，使用数据注册模块将图像数据注册入库，删除

本地缓存，清理出磁盘空间，保证数据采集模块的顺畅运行。图像数据注册过程

中，每一次图片注册实例化一个数据类，并调用该函数，将图像数据的文件名、

ｂａｓｅ６４、源数据引用，根据图像的特征生产ｍｄ５值作为数据的编码，同

时检索数据库中是否存在相同的数据，防止数据重复，引起数据调用的错误。最

后调用ｓｅｌｆ＿ｃｒｅａｔｅ＿ｄａｔａ＿ｃｅｎｔｅｒ＿ｒｅｃｏｒｄ为图

像补全注册信息，并返回图像编码。表２为注册模块接口描述。

2电网现代云仓体系构建

2.1电网现代云仓体系主体模式

电网现代云仓体系是一个由物资部门主导的供应链级仓储资源共享网络，对

于电网物资供应链中物资流通形成的库存，电网物资管理部门以供应链为基本单

元，采用先进的技术搭建现代化的信息平台，以共同目标为基础建立合理的利益

分配风险分担机制，基于客户需求的准确分析及预测，与电网物资供应链节点企

业共同