【数据资源管理平台】大型集团企业数据资源管理平台建设方案WORD.docxVIP

大型集团企业数据资源管理平台建设方案

TOC\o1-3\h\z\u1. 数据资源管理平台建设目标 1

2. 数据仓库架构设计 1

2.1. 数据仓库框架 1

2.2. 数据源定义 3

2.3. 组件架构定义 4

2.4. 元数据管理定义 5

3. 数据仓库方案设计 6

3.1. 传统数据仓库方案 7

3.2. 大数据平台参考技术架构 15

数据资源管理平台建设目标

支持多层次的数据应用，包括ODS、数据仓库及数据集市层；

采用整合的数据模型，同时利用企业服务总线和数据整合平台，建立XX集团统一的企业数据管理，提供准实时数据服务和批量数据服务，实现跨部门、跨应用系统的数据共享；

数据仓库具备大数据采集、存储、计算能力扩展，支撑后续业务应用大数据挖掘需求。

数据仓库架构设计

传统数据存储、分析技术已无法支撑大数据的存储，挖掘，大数据能力作为传统数据仓库的重要增强、组成部分，能够灵活满足业务分析需求。

数据仓库框架

根据XX公司在数据仓库规划与建设项目中积累的经验，对比全球公共事业行业领先实践案例，并结合XX集团公司实际现状与未来发展需求，提出了XX集团数据仓库框架。

此框架主要描述了XX公司数据仓库建设所需要具备的各种组件与相关架构，其主要组成部分包括：

数据源—临时存放将要传入数据仓库内的数据。这些数据包括：各业务应用系统的应用数据、银行缴费交易等外部业务系统应用数据，社交数据、网站数据、设备运行状态等数据。

架构组件—架构组件指数据仓库中数据从数据源流向最终用户的过程中用来对数据处理、存储和访问提供支持的软件与硬件系统。数据仓库架构框架主要包括ETL架构、前端展现架构、数据仓库存储架构、运维管理与开发架构几类。

元数据管理—使数据信息能够正确定义、收集并发布的工具与技术，主要包括用户数据的业务含义与技术特征。

数据源定义

数据源是存放最终用户报表所需各类信息的源头，是操作型与交易处理型业务应用系统（如燃料管控系统、人力资源系统、财务系统等）内收集和存放的数据集合。数据仓库一般是从满足报表与分析需求的单独数据源头或者多个数据源开始，在整个数据仓库生命周期内逐渐扩展，并且逐步按照需要纳入更多数据源与外部系统的数据。

随着物联网、移动互联网的发展及应用，手机、智能终端、网上商城、社交网络、电子通讯、卫星定位，任何操作都附带产生大量的各种类型的数据。数据成为社会生活中举足轻重的生产要素，数据在当今数字化社会中的发挥的作用日益关键。为支撑XX集团后续在大数据的分析挖掘需求，后续需要考虑大数据源的梳理及定义。

组件架构定义

数据仓库存储架构

数据仓库存储架构由数据仓库内包含的全部数据存储区域组成。同时，这一架构还包括了数据与处理的物理分布，以及支撑这些数据存储区域的硬件与软件系统。

尽管数据仓库是一种集中式的数据集合，但是，为了满足用户对于性能、可用性以及可伸缩性方面的需求，企业可以通过多条路径来实现端到端的数据仓库技术架构。数据仓库存储架构实现路线的目标是构建能够满足用户与操作需求的数据存储方法与物理分布方式。

数据仓库存储架构内的数据存储区域主要包括：数据缓冲区（Staging）、数据仓库区（DataWarehouse）、操作数据存储区（ODS）、数据集市（DataMart）、大数据存储等几部分，并且数据仓库存储架构的构成由于最终用户实际业务需求的不同而多种多样。

ETL架构

ETL架构主要提供数据转储以及数据移动控制相关的各种流程与服务，用于完成数据导入数据仓库的工作。ETL架构主要由以下几个能够确保数据定期被正确地导入数据仓库的服务组成：任务调度、批量文件控制、错误处理、异常处理、文件与数据传输、审核与验证。

前端展现架构

前端展现架构主要负责通过各种前端展现工具将数据仓库内的数据展现给最终用户。

元数据管理定义

元数据管理包括对元数据的定义、收集、控制和发布。由于元数据管理存在于数据仓库的每一格组建内，因此，它是数据仓库架构框架内比较独立的部分。所以，数据仓库需要拥有规范的元数据定义、收集与利用机制。

元数据是关于数据的数据，将业务术语与物理数据库建立一个对应。利用元数据，分别以业务视图和技术视图描述存储在数据仓库中的数据。元数据在开发过程中并非全新的概念。通常，我们利用元数据来定义文件结构，定义数据模型内数据属性的命名、数据长度与标准，以及定义数据属性到数据属性与数据属性到报表间的映射关系。

元数据主要包括业务元数据与技术元数据：

业务元数据

业务元数据是最终用户所需要的描述具体业务信息意义、质量和时效性的数据。比较关键的业务元数据包括：

描述数据仓库内应该具有哪些数据的业务规则

业务层次以及关键绩效指标（KPI）的定义

数据元素的通用业务定