【数据资源管理平台】大型集团企业数据资源管理平台建设方案.pdf

大型集团企业数据资源管理平台建设方案

1.数据资源管理平台建设目标1

2.数据仓库架构设计1

2.1.数据仓库框架1

2.2.数据源定义3

2.3.组件架构定义4

2.4.元数据管理定义5

3.数据仓库方案设计6

3.1.传统数据仓库方案7

3.2.大数据平台参考技术架构15

1.数据资源管理平台建设目标

▪支持多层次的数据应用，包括ODS、数据仓库及数据集市层；

▪采用整合的数据模型，同时利用企业服务总线和数据整合平台，

建立XX集团统一的企业数据管理，提供准实时数据服务和批量数据

服务，实现跨部门、跨应用系统的数据共享；

▪数据仓库具备大数据采集、存储、计算能力扩展，支撑后续业

务应用大数据挖掘需求。

2.数据仓库架构设计

传统数据存储、分析技术已无法支撑大数据的存储，挖掘，大数

据能力作为传统数据仓库的重要增强、组成部分，能够灵活满足业务

分析需求。

2.1.数据仓库框架

根据XX公司在数据仓库规划与建设项目中积累的经验，对比全

球公共事业行业领先实践案例，并结合XX集团公司实际现状与未来

发展需求，提出了XX集团数据仓库框架。

此框架主要描述了XX公司数据仓库建设所需要具备的各种组

件与相关架构，其主要组成部分包括：

▪数据源—临时存放将要传入数据仓库内的数据。这些数据包

括：各业务应用系统的应用数据、银行缴费交易等外部业务系统应用

数据，社交数据、网站数据、设备运行状态等数据。

▪架构组件—架构组件指数据仓库中数据从数据源流向最终

用户的过程中用来对数据处理、存储和访问提供支持的软件与硬件系

统。数据仓库架构框架主要包括ETL架构、前端展现架构、数据仓库

存储架构、运维管理与开发架构几类。

▪元数据管理—使数据信息能够正确定义、收集并发布的工具

与技术，主要包括用户数据的业务含义与技术特征。

元数据管理

技术元数据元数据业务元数据

数据源数据仓库存储前端展现

燃料报表

数据仓库

物资

财务查询

大数据存储

人资

析

…

数据抽取

日志实时

ETL

挖掘

社交…大数据获取

运维管理

开发架构

2.2.数据源定义

数据源是存放最终用户报表所需各类信息的源头，是操作型与交

易处理型业务应用系统（如燃料管控系统、人力资源系统、财务系统

等）内收集和存放的数据集合。数据仓库一般是从满足报表与分析需

求的单独数据源头或者多个数据源开始，在整个数据仓库生命周期内

逐渐扩展，并且逐步按照需