数据中台标准技术方案.pdf

数据中台标准技术方案

2021年1月9日

数据中台标准方案

目录

1数据中台概述6

1.1数据中台介绍6

1.2数据中台的价值7

1.3数据中台设计原则8

1.3.1数据的一致性与标准性8

1.3.2数据的实用性与服务性8

1.3.3数据的独立性与可扩展性8

1.3.4数据安全性8

1.3.5数据级管理机制9

1.4数据中台设计方法9

141基于而向服务的架构方法(SOA)9

1.4.2业务系统规划法(BSP)9

1.4.3系统工程理论11

2数据中台核心功能12

2.1技术架构12

2丄1层次架构13

2.1.2逻辑架构14

第2贞共93贞

数据中台标准方案

2.1.3数据架构15

2.2数据统一采集接入平台16

2.2.1平台架构16

2.2.2数据流程17

2.2.3平台功能17

2.3数据集中处理平台-29

2.3.1平台架构29

2.3.2数据流程30

2.3.3平台功能30

2.4数据组织管理平台-48

2.4.1平台架构48

2.4.2数据流程49

2.4.3平台功能50

2.5数据全域治理平台56

2.5.1平台架构56

2.5.2数据流程57

2.5.3平台功能57

2.6数据质量管理平台62

第3贞共93贞

数据中台标准方案

2.6.1数据标准管理62

2.6.2数据生命周期管理63

2.6.3数据质量管理65

2.6.4数据运维管理65

2.7数据共享服务平台…66

2.7.1平台架构66

2.7.2数据流程67

2.7.3平台功能67

2.8数据可视化平台-76

2.8.1平台架构76

2.8.2数据流程77

2.8.3平台功能77

3主要关键技术85

3.1内存级数据交换共享85

3.2一站式数据集成和数据管理86

3.3数据分析模型87

3.4数据治理技术87

3.5数据挖掘技术89

第4贞共93贞

数据中台标准方案

3.6可视化建模技术90

3.7NLPi/1义分析技术91

3.8知识图谱技术92

3.9数据交换共享技术指标93

3.10应用系统技术指标93

3.11数据加工分析技术指标93

第5贞共93贞

数据中台标准方案

1数据中台概述

1.1数据中台介绍

因为在当今互联网时代，用户才是商业战场的中心，为了快速响应

用户的需求，借助平台化的力量可以事半功倍。然而第一之前在传统企

业信息化建设中企业为了满足单一业务场景需求而搭建的传统技术架构，

其底层技术选型大都无法支撑现有大数裾应用场景。由此形成的技术壁

垒，往往使得企业转型成本激增甚至无法实现转型；第二在企业不断发

展的过程中伴随着业务的多元化发展，企业信息部门单独建设或重建全

新业务系统，逐渐形成了一个个相互独立的数据中心，从而导致大量系

统、功能和应用的重复建设，更造成了计算存储资源和人力资源的浪费；

第三企业由于业务发展带来的组织壁垒而形成的数据孤岛，是数据壁垒

最典型的场景。它使得企业数据难以被全局规划和定义，从而导致数裾

价伉无法被充挖掘。传统信息化建设往往以满足业务流程结果做为唯

一标准，忽视了过程数据和关联数据。传统的数据平台和其所谓的三层