数据中台架构的主数据平台及关键技术设计.pdfVIP

数据中台架构的主数据平台及关键技术设计--第1页

数据中台架构的主数据平台及关键技术

设计

摘要：针对传统数据平台存储容量不高、数据处理能力较差的问题，对业务

数据进行层级分割和水平解耦，构建数据中台架构的主数据平台，实现跨域数据

整合和数据积累。通过服务的形式构造数据接口，进行数据业务的开发，对业务

前后端应用需求灵活应对。

关键词：数据中台架构；主数据平台；关键技术

引言

传统的数据平台基于简单的总体架构，完成数据导入、整理多维数据集合简

单的数据分析。当前传统的数据平台是单节点，数据存储容量不大，只能对结构

化的数据进行处理，面对海量的异构数据时，一些数据源无法涉及。

1数据中台架构的主数据平台

1.1主数据平台设计

数据的中台架构为完成系统业务数据的层级分割和水平解耦，将公共业务数

据入口独立出来，通过数据层的数据模型实现跨域数据整理和知识累积，应用视

图和控制器实现构建数据接口，进行数据业务的开放，对数据业务的前后端应用

需求灵活部署。数据平台对数据划分多个层次可以更好地管理数据模型，按照数

据结构规范分层处理，数据模型将多种数据标准化，使用多维度建模。数据标准

化概括为３层：基础数据模型处理数据；融合模型按照数据的维度进行建模，整

合多种数据类型，处理数据的形式包括整合、关联和分解；挖掘数据模型偏向于

业务层面，复用性较高的融合在中台架构中，作为企业的数据模型，提高了业务

效率。数据中台架构的主数据平台对外提供统一的服务能力，按照应用要求，对

构成数据根据业务场景进行服务。数据服务能够使开发人员快速访问和查询数据

数据中台架构的主数据平台及关键技术设计--第1页

数据中台架构的主数据平台及关键技术设计--第2页

业务，数据分析人员可以进行算法分析，包括数据模型的管理和数据结构的分析。

数据平台中，源数据和数据模型是数据中台搭建的基础，数据开发是连接前台开

发重要的环节。首先是提供标签库，基于标签库的分类区分营销客户，面向业务

人员。数据开发平台面向所有用户和ＳＱＬ开发人员，提供数据访问，将业务数

据可视化处理。方便快速掌握了解数据，及时发现透明数据动态，保护数据的安

全性。在数据业务响应过程中，共享数据服务实现数据共享。数据模型多元化支

持可视化平台，给业务决策提供数据支持，结合自身实际数据结构，对数据平台

分层划分，不同的层次承担不同的数据类型，可以更方便地进行数据模型管理。

1.2数据采集模块

数据平台中数据采集方式包括自动爬虫、第三方数据和手动采集３种方式。

大部分数据由自动爬虫获取，第三方数据采集的数据主要是公司企业的各项业务

场景中的数据指标，这部分数据量过大，采集过程较为复杂。数据加载是ＡＪＡ

Ｘ请求，具体数据采集实现过程分为３个类，使用以下方法进行数据采集：首

先进行数据请求时，ｈｅａｄｅｒｓ配置需要填充ｐａｔｈ、ｑｕｅｒy＿ｈａ

ｓｈ等关键词。Ｃｏｏｋｉｅ可以进行一次登录后截取修改，配置Ｓｅｓｓｉｏ

ｎＩＤ，Ｘ－ＩＧ－Ａｐｐ－ＩＤ、Ｘ－Ｉｎｓｔａｇｒａｍ－ＧＩＳ从ｈｔｍ

ｌ中ＳｈａｒｅｄＤａｔａ字段中获取。Ｉｎｓｔａｇｒａｍ的页面访问结构不

是传统数据采集的线性结构，是通过ｃｕｒｓｏｒ进行的链式结构。数据注册模

块对采集到的图片数据进行注册，将收到的图片数据各等级业务来源信息记录并

保存，为每个图片数据生成唯一编号，分配ｂａｓｅ６４存储空间与索引结构化

操作。数据注册模块和数据采集模块之间紧密耦合，减少了数据采集占有服

务器的存储空间，减少了磁盘空间，防止磁盘空间溢出造成的程序崩溃。当采集

到的业务数据到达一定数量级时，使用数据注册模块将图像数据注册入库，删除

本地缓存，清理出磁盘空