数据中台标准方案.pdf

数据中台标准技术方案 2021年1月9 日 数据中台标准方案 目 1 数据中台概述 6 1.1数据中台介绍6 1.2数据中台的价值7 1.3数据中台设计原则8 1.3.1数据的一致性与标准性 8 1-3.2数据的实用性与服务性 8 1.3.3数据的独立性与可扩展性 8 1-3.4数据安全性 8 1.3.5数据分级管理机制 9 1-4数据中台设计方法9 1.4.1基于面向服务的架构方法（SOA） 9 1.4.2业务系统规划法（BSP） 9 1.4.3系统工程理论 11 2 数据中台核心功能 12 2.1技术架构 12 2.1.1 层次架构 13 2 93 第 页共 页 数据中台标准方案 2.1.2逻辑架构14 2.1.3数据架构15 2.2数据统一采集接入平台16 2.2.1 平台架构16 2.2.2数据流程17 2.2.3平台功能17 2.3数据集中处理平台29 2.3.1 平台架构29 2.3.2 数据流程30 2.3.3平台功能30 2.4数据组织管理平台48 2.4.1 平台架构48 2.4.2数据流程49 2.4.3平台功能50 2.5数据全域治理平台56 2.5.1 平台架构56 2.5.2数据流程57 3 93 第 页共 页 数据中台标准方案 2.5.3平台功能57 2.6数据质量管理平台62 2.6.1数据标准管理62 2.6.2数据生命周期管理63 2.6.3数据质量管理65 2.6.4数据运维管理65 2.7数据共享服务平台66 2.7.1 平台架构66 2.7.2数据流程67 2.7.3平台功能67 2.8数据可视化平台76 2.8.1 平台架构76 2.8.2数据流程77 2.8.3平台功能77 3 主要关键技术85 3.1内存级数据交换共享85 3.2 一站式数据集成和数据管理86 4 93 第 页共 页 数据中台标准方 3.3 数据分析模型 87 3.4 数据治理技术 87 3.5 数据挖掘技术 89 3.6 可视化建模技术 90 3.7 NLP 语义分析技术 91 3.8 知识图谱技术 92 3.9 数据交换共享技术指标 93 3.10 应用系统技术指标 93 3.11 数据加工分析技术指标 93 5 93 第 页共 页 数据中台标准方案 1数据中台概述 1.1数据中台介绍 因为在当今互联网时代，用户才是商业战场的中心，为了快速响应 用户的需求，借助平台化的力量可以事半功倍。然而第一之前在传统企 业信息化建设中企业为了满足单一业务场景需求而搭建的传统 技术架 构，其底层技术选型大都无法支撑现有大数据应用