XX能源云数据平台建设项目.pdf

目录 1 项目背景 2 2 需求理解 3 3 项目目标 4 3.1 建立健全的数据管理体系 4 3.2 为未来的大数据平台建设提供基础保障 5 3.3 提升对现有业务系统及数据平台的管理水平 6 3.4 帮助新奥能源建立自己的数据管理能力 6 3.5 建立云端大数据平台支撑业务创新和管理变革 6 4 项目范围 7 4.1 云数据平台架构规划设计 7 4.2 数据管理体系咨询与设计 7 4.3 云数据平台建设与实施 7 4.4 数据分析展示应用设计开发 8 5 总体方案概述 9 5.1 总体方案架构 9 5.2 总体方案说明 9 6 技术方案 11 6.1 平台部署架构 11 6.2 技术方案 11 6.3 产品功能清单 49 1 项目背景 随着大数据时代的来临，面对爆发式增长的海量数据，基于传统架构的信息系统已难 以应对，同时传统商业智能系统和数据分析软件，面对以视频、图片、文字等非结构化数据 的大量数据时，也缺少有效的分析工具和方法。基于公司现有ERP 系统、BW 数据仓库和 BO 工具生成报表已经不能很好的满足公司运营管理需求，且现有BW 中数据模型越来越复杂， 无法对数据变更产生的影响和数据流转过程进行追溯，数据的及时性、准确性也无法保证。 通过搭建大数据平台是解决上述问题的有效途径，如下图： 其中数据管理平台是大数据平台的必要组成部分。借助数据管理工具能够更加有效的 发掘和利用信息资产的价值，提升数据资产的可信度，实现精准高效的分析和决策，推进系 统变更管理，降低项目风险。 通过数据管理平台元数据抓取、数据模型管理、报表指标管理、数据质量监控等能力， 绘制企业级数据全景地图、统一数据口径、标明数据方位、分析数据关系、管理模型变更， 并通过开放元数据的基础数据能力，为灵活多变的元数据应用提供元数据基础服务支持；为 大数据平台的日常运维和数据质量管理提供数据链路分析功能支持。 第 2页，本部分共 136 页 2 需求理解 1）数据平台中数据内容繁多，难以全面掌控。 通过多年的信息化建设和运营，新奥能源已经建立了完善的业务应用系统，有效的支 撑了核心业务的创新和发展，但随着应用系统的增多，数据量和数据应用环境增大，在对这 些数据进行使用的过程中逐渐存在不合理、不统一的问题。 目前新奥能源信息化系统架构主要划分了3 层，包括源系统层、数据仓库层及数据应 用层。  源系统层包括 ERP 系统 CCS 系统 EAS 财务系统、加气站管理系统等。  数据仓库层由 BW 构建，ERP 系统体系内的数据由BW 直接抽取，其他系统由ETL 工 具 dataservice 抽取，抽取汇总后进行指标的提取和统计分析。  数据应用主要包括门户和报表展现，展现的工具有 SAP BO BW 的 Query、管理员 驾驶仓，展现直接嵌入门户，也有自装客户端进行报表展现。 2）数据平台中数据的流转和逻辑过程复杂，难以追溯数据来源。 公司目前没有统一的数据资产标准，各业务系统中数据质量参差不齐，存在信息孤岛现 象，不同部门同一名称数据可能有不同的含义，同一个数据可能又有不同的命名，数据有效 交互和共享存在问题。存在部分系统数据更新不及时的问题，核心业务数据无法朔源，数据 的准确性和及时性较低，现有报表在建模时几乎每个报表都要重复建模，人为参与工作过多 且层次复杂，无法高效的对流程及指标进行精确监控及分析，数据的利用效率和模型重复使 用率较低。 由于没有统一的工具提供统一的数据流视图，无法实现数据台账可视化管理、数据来 源的可追