湖仓一体大数据平台解决方案.docx

湖仓一体大数据平台

湖仓一体大数据平台解决方案

湖仓一体大数据平台概述

?湖仓一体大数据平台，承担了企业数据治理、开发、管理等职

责，往下集成数据，往上搭载应用。

?通过数据同步、研发、运维、服务及治理等过程，对企业大数

据进行智能管理，形成企业的数据资产。

工作空间管理数据地图数据管理类目管理数据订阅常规运维数据生产运维数据质量运维资产盘点资产盘点报告元数据管理数据源管理数据源数据文件阿里云华为云电信云腾讯云京东云项目管理规范建表可视化建表DDL建表S-EMR数据探查探查报告探查任务配置

工作空间管理

数据地图

数据管理

类目管理

数据订阅

常规运维

数据生产运维数据质量运维

资产盘点

资产盘点报告

元数据管理

数据源管理

数据源

数据文件

阿里云

华为云

电信云

腾讯云

京东云

项目管理

规范建表

可视化建表DDL建表

S-EMR

数据探查

探查报告

探查任务配置探查实例管理

子账号管理

角色权限管理

阿里云-EMR

数据同步

离线同步

实时同步

数据标准

数据标准管理标准覆盖率评估

AccessKey管理

AWS-EMR

Azure

AWS

平台安全设置

华为云-MRS

…

本地IDC

星环-TDH

湖仓一体大数据平台架构

控制台基础设施数据集成数据规划引擎层数据研发

控制台

基础设施

数据集成

数据规划

引擎层

常规开发

常规开发

离线开发

实时开发

数据工厂

数据工厂

规范建模

指标管理

参数配置

API

API工厂

脚本/向导模式

自定义函数导入在线测试数据查询

标签工厂

标签工厂

实体管理

标签管理

任务管理

算法工厂

算法工厂

算法开发

资源管理

指标运维

指标运维

指标任务监控指标查询

API

API运维

配置、告警安全组配置

标签运维

标签运维

标签任务监控标签查询

算法运维

算法运维

算法任务监控配置及告警

API

API中心

API授权

API调用

标签中心

标签中心

量级、覆盖率

标签值分布

数据安全

数据安全

数据脱敏

数据加密

生命周期

生命周期

治理项管理治理效果分析

全链血缘

全链血缘

元数据检索元数据分析

2.湖仓一体数仓建设思路

传统数仓的问题

开发效率

实时指标烟囱式开发

效率低门槛高

技术架构

实时离线架构不统一

依赖离线T+1导出报表

平台管理

缺少实时元数据管理

未打通实时离线数据的联系

湖仓一体数仓建设思路

批流统一

统一数仓标准与元数据

基于SQL统一开发流程

宽表建设

引入Hudi加速宽表产出

基于FlinkSQL构建实时数仓

平台治理

数仓平台化建设

数据统一接入开发元数据管理

命名规范模型规范开发规范流程规范

命名规范

模型规范

开发规范

流程规范

统一规范体系(1/3)

设计规范

设计规范

数仓规范

数仓规范

存储规范

存储规范

统一规范，OneData建模方法论(2/3)

业务系统

业务源数据3业务源数据2业务源数据1

业务源数据3

业务源数据2

业务源数据1

……

……

业务板块

业务板块

业务板块1

业务板块

业务板块2

规范定义

模型设计

一致性维度数据域/主题域维度属性原子指标（业务过程+度量）统计周期(时间维)统计粒度(维度组合)派生指标

一致性维度

数据域/主题域

维度属性

原子指标（业务过程+度量）

统计周期(时间维)

统计粒度(维度组合)

派生指标

修饰词

维表（

维表（DIM）

把逻辑维度物理化的宽表

业务过程

业务过程

事务事实表

事务事实表(DWD)最原始粒度的明细数据

汇总事实表（

汇总事实表（DWS）

把明细事实聚合的事实表

数据应用

数据应用层（

数据应用层（ADS）

统一规范，可视化建模工具(3/3)

表关联关系影响分析全链分析字段关系依赖分析关联度分析血缘分析属性差异分析变更查询变更订阅

表关联关系

影响分析

全链分析

字段关系

依赖分析

关联度分析

血缘分析

属性差异分析

变更查询

变更订阅

统一元数据

价值主张：理清数据字典，了解数据来龙去脉

特点：丰富的采集适配器、智能识别关系、丰富的元数据分析和检核

元数据采集元数据分析数据地图

适配器管理

适配器管理采集日志

采集源入库审核

采集源入库审核

采集任务配置

采集任务配置

元数据变更元数据核检

一致性核检数据处理关系

一致性核检