数据中台技术架构方案.docx

数据中台技术架构方案

目录

本方案将为您介绍XX通过数据集成平台、数据计算平台、数据服务平台如何在大型金融级复杂数据环境中落地数据中台，以及去XX关键难点的解决之道

?数据集成平台

?数据计算平台

?数据服务平台

数据中台典型特征

数据标准化—以实体对象为中心的业务主数据提炼、DMP构建，实现ID识别连接、标签标准规范地自动化生产

建设自动化—在现有数据平台基础上，自动化构建虚拟数据集市、主题库和专题库，即时响应业务的快速变化

管理资产化—支持资产化视角构建及管理数据体系，适用于数据类型多样，需要统一管理数据的业务场景

业务智能化——通过机器学习算法动态识别数据的业务特征，智能推荐业务所需要的数据模型

数据中台典型架构

数据治理

数据治理

数据服数据处数据集数据存储成数据共享服务数据管理服务务基础应用服务标识加工关联清洗提取数据计算理任务调度策略配置任务管理断点续传数据对账

数据服

数据处

数据集

数据存储

成

数据共享服务

数据管理服务

务

基础应用服务

标识

加工

关联

清洗

提取

数据计算

理

任务调度

策略配置

任务管理

断点续传

数据对账

数据分发

资源目录元数据分级分类数据血缘数据标准数据质量

数据试验空间统一索引库主题库模型规则标签关键词知识库业务库业务专题

数据试验空间

统一索引库

主题库

模型

规则

标签

关键词

知识库

业务库

业务专题库

资源库

业务知识库

业务实体库

原始库

业务资源库

备份库

备份库

管理信息库

元数据

数据资源目录

大数据云总体技术架构

金融大数据服务监管报表企业服务客户关系风险管理

金融大数据服务

监管报表企业服务客户关系风险管理住房租赁智能投顾……

大数据云生态组件算法调用

大数据云生态组件

模型

模型托管

数据存储

一站式数据分析与深度挖掘服务

模型化业务分析服务

在线事件服务

数据可视化

报表服务

检索服务

推荐服务

……

AI云平台统一元数据统一访问统一存储统一调度统一账户与权限全链路监控数据

AI云平台

统一元数据

统一访问

统一存储

统一调度

统一账户与权限

全链路监控

大数据云基础平台

统一元数据、访问、

统一元数据、

访问、存储、调度、权限、监控

统一数据查询搜索分析引擎

全链路监控

数据审计

账户与权限

数据集成数据交换数据仓库离线计算实时计

数据集成

数据交换

数据仓库

离线计算

实时计算

开发套件

图计算

统一调度系统

数据采集

智能数据管理超大规模智能计算和存储管理服务

智能数据管理

超大规模智能计算和存储管理服务

托管弹性大数据基础服务

托管弹性大数据基础服务

弹性伸缩自动化部署运维计算存储分离资源隔离组件高可用开放组件管理多租户

数据中台总体架构

4A统一认证多租户管理WebIDE桌面

4A统一认证

多租户管理

WebIDE

桌面IDE插件

任务流程设计器

……

业务源端数据

采集调度

采集调度

用户信息同步登录权限用户权限管理作业调度作业执行信息作业资源消耗作业重跑开发模块集成工具测试工具发布工具代码开发数据源配置功能测试任务发布运行调度集成规则性能测试节点发布版本管理集成调度测试报告发布管理

用户信息同步

登录权限

用户权限管理

作业调度

作业执行信息

作业资源消耗

作业重跑

开发模块

集成工具

测试工具

发布工具

代码开发

数据源配置

功能测试

任务发布

运行调度

集成规则

性能测试

节点发布

版本管理

集成调度

测试报告

发布管理

数据中

数

据

中

服区

服区

台

补数据作业

补数据作业

代码库代码构建打包代码执行

代码库

代码构建

打包

Spark提交Spark节点执行

Spark

提交

Spark节点执行

SQL

节点执行

资源申请集成数据来源

资源申请

集成数据来源

计算资源

资源详情数据中心(DW)

资源详情

数据中心(DW)

资源销毁

资源销毁

数据中台业务架构

运维监

运维监

关系型数据库

关系型数据库

i

i非结构化存储i

半结构化存储

半结构化存储